langchain_core.utils.mustache.tokenize

langchain_core.utils.mustache.tokenize(template: str, def_ldel: str = '{{', def_rdel: str = '}}') → Iterator[Tuple[str, str]]

对mustache模板进行标记化处理。

以生成器的方式对mustache模板进行标记化处理，使用类文件对象。它还接受包含模板的字符串。

参数

template – 一个类文件对象，或mustache模板的字符串

def_ldel – 默认的左定界符

(默认为“{{”，与规范兼容的mustache)

def_rdel – 默认的右定界符

(默认为“}}”，与规范兼容的mustache)

返回

mustache标签的生成器，形式为元组

– (标签类型，标签键)

其中，标签类型是以下之一

• 文字

• 部分

• 倒置部分

• 结束

• 部分

• 非转义

并且，标签键要么是键，在文字标签的情况下，是文字本身。

参数

• template (str) –

• def_ldel (str) –

• def_rdel (str) –

返回类型

Iterator[Tuple[str, str]]