langchain_text_splitters.base.TextSplitter

class langchain_text_splitters.base.TextSplitter(chunk_size: int = 4000, chunk_overlap: int = 200, length_function: ~typing.Callable[[str], int] = <built-in function len>, keep_separator: ~typing.Union[bool, ~typing.Literal['start', 'end']] = False, add_start_index: bool = False, strip_whitespace: bool = True)[source]

文本分块接口。

创建一个新的TextSplitter。

参数

  • chunk_size (int) – 返回的分块的最大大小

  • chunk_overlap (int) – 分块之间的字符重叠

  • length_function (Callable[[str], int]) – 测量给定分块长度的函数

  • keep_separator (Union[bool, Literal['start', 'end']]) – 是否保留分隔符及在每个对应分块中的放置位置（True=’start’）

  • add_start_index (bool) – 如果为 True，在元数据中包括分块的起始索引

  • strip_whitespace (bool) – 如果为 True，从每个文档的开始和结束处删除空白字符

方法

__init__([chunk_size, chunk_overlap, ...])

创建一个新的TextSplitter。

atransform_documents(documents, **kwargs)

异步转换文档列表。

create_documents(texts[, metadatas])

从文本列表创建文档。

from_huggingface_tokenizer(tokenizer, **kwargs)

使用HuggingFace分词器计算长度的文本分割器。

from_tiktoken_encoder([encoding_name, ...])

使用tiktoken编码器计算长度的文本分割器。

split_documents(documents)

分割文档。

split_text(text)

将文本分割成多个组件。

transform_documents(documents, **kwargs)

通过分割文档转换文档序列。
__init__(chunk_size: int = 4000, chunk_overlap: int = 200, length_function: ~typing.Callable[[str], int] = <built-in function len>, keep_separator: ~typing.Union[bool, ~typing.Literal['start', 'end']] = False, add_start_index: bool = False, strip_whitespace: bool = True) → None[源代码]

创建一个新的TextSplitter。

参数

  • chunk_size (int) – 返回的分块的最大大小

  • chunk_overlap (int) – 分块之间的字符重叠

  • length_function (Callable[[str], int]) – 测量给定分块长度的函数

  • keep_separator (Union[bool, Literal['start', 'end']]) – 是否保留分隔符及在每个对应分块中的放置位置（True=’start’）

  • add_start_index (bool) – 如果为 True，在元数据中包括分块的起始索引

  • strip_whitespace (bool) – 如果为 True，从每个文档的开始和结束处删除空白字符

返回类型

None

async atransform_documents(documents: Sequence[Document], **kwargs: Any) → Sequence[Document]

异步转换文档列表。

参数

  • documents (Sequence[Document]) – 待转换的文档序列。

  • kwargs (Any) –

返回

转换后的文档序列。

返回类型

Sequence[Document]

create_documents(texts: List[str], metadatas: Optional[List[dict]]) → List[Document][源代码]

从文本列表创建文档。

参数

  • texts (List[str]) –

  • metadatas (Optional[List[dict]]) –

返回类型

列表[文档]

classmethod from_huggingface_tokenizer(tokenizer: Any, **kwargs: Any) → TextSplitter[source]

使用HuggingFace分词器计算长度的文本分割器。

参数

  • tokenizer (Any) –

  • kwargs (Any) –

返回类型

TextSplitter

classmethod from_tiktoken_encoder(encoding_name: str = 'gpt2', model_name: Optional[str] = None, allowed_special: Union[Literal['all'], AbstractSet[str]], disallowed_special: Union[Literal['all'], Collection[str]] = 'all', **kwargs: Any) → TS[source]

使用tiktoken编码器计算长度的文本分割器。

参数

  • encoding_name (str) –

  • model_name (Optional[str]) –

  • allowed_special (Union[Literal['all'], ~typing.AbstractSet[str]]) –

  • disallowed_special (Union[Literal['all'], ~typing.Collection[str]]) –

  • kwargs (Any) –

返回类型

TS

split_documents(documents: Iterable[Document]) → List[Document][source]

分割文档。

参数

documents (Iterable[Document]) –

返回类型

列表[文档]

抽象 split_text(text: str) → List[str][source]

将文本分割成多个组件。

参数

text (str) –

返回类型

List[str]

transform_documents(documents: Sequence[Document], **kwargs: Any) → Sequence[Document][source]

通过分割文档转换文档序列。

参数

  • documents (Sequence[Document]) –

  • kwargs (Any) –

返回类型

Sequence[Document]