langchain_text_splitters.base.split_text_on_tokens¶
- langchain_text_splitters.base.split_text_on_tokens(*, text: str, tokenizer: Tokenizer) List[str][source]¶
使用分词器分割传入的文本并返回片段。
- 参数
text (str) –
tokenizer (Tokenizer) –
- 返回类型
列表[str]