langchain_astradb.cache.AstraDBSemanticCache

class langchain_astradb.cache.AstraDBSemanticCache(*, collection_name: str = 'langchain_astradb_semantic_cache', token: Optional[Union[str, TokenProvider]] = None, api_endpoint: Optional[str] = None, environment: Optional[str] = None, astra_db_client: Optional[AstraDB] = None, async_astra_db_client: Optional[AsyncAstraDB] = None, namespace: Optional[str] = None, setup_mode: SetupMode = SetupMode.SYNC, pre_delete_collection: bool = False, embedding: Embeddings, metric: Optional[str] = None, similarity_threshold: float = 0.85)[source]

使用Astra DB作为语义（即基于相似度的）查找的向量存储后端的缓存。

它使用单个（向量）集合，可以存储来自多个LLMs缓存的值，因此将在文档元数据中存储LLM的‘llm_string’。

您可以选择首选的相似度（或使用API默认值）。默认分数阈值是根据默认指标调整的。如果切换到另一个距离指标，请仔细调整。

参数

  • collection_name (str) – 需要创建或使用的Astra DB集合的名称。

  • token (可选[Union[str, TokenProvider]]) – Astra DB使用的API令牌，可以是字符串形式，也可以是astrapy.authentication.TokenProvider的子类。如果未提供，将检查环境变量ASTRA_DB_APPLICATION_TOKEN。

  • api_endpoint (可选[str]) – API端点的完整URL，例如 https://<DB-ID>-us-east1.apps.astra.datastax.com。如果未提供，将检查环境变量ASTRA_DB_API_ENDPOINT。

  • environment (可选[str]) – 指定目标数据API的环境的字符串。如果省略，默认为“prod”（Astra DB生产环境）。其他值在astrapy.constants.Environment枚举类中。

  • astra_db_client (可选[AstraDB]) – 从版本0.3.5开始已弃用。请使用‘token’，‘api_endpoint’以及可选的‘environment’。您可以传入已创建的astrapy.db.AstraDB实例（作为‘token’，‘api_endpoint’和‘environment’的替代）。

  • async_astra_db_client (可选[AsyncAstraDB]) – 从版本0.3.5开始已弃用。请使用‘token’，‘api_endpoint’以及可选的‘environment’。您可以传入已创建的astrapy.db.AsyncAstraDB实例（作为‘token’，‘api_endpoint’和‘environment’的替代）。

  • namespace (可选[str]) – 创建集合的命名空间（也称为键空间）。如果未提供，将检查环境变量ASTRA_DB_KEYSPACE。默认为数据库的“ 默认命名空间”。

  • setup_mode （SetupMode）- 用于创建Astra DB集合的模式 （SYNC, ASYNC 或 OFF）。

  • pre_delete_collection （bool）- 是否在创建之前删除集合。如果为False且集合已存在，则按原样使用该集合。

  • embedding （Embeddings）- 用于语义编码和搜索的嵌入提供程序。

  • metric （可选[str]）- 评估文本嵌入相似性的函数。默认值为‘cosine’（其他： ‘euclidean’，‘dot_product’）

  • similarity_threshold （float）- 接受（语义搜索）匹配的最小相似度。

方法

__init__(*[, collection_name, token, ...])

使用Astra DB作为语义（即向量化存储后端的缓存。

aclear(**kwargs)

异步清除缓存，可接受额外的关键字参数。

adelete_by_document_id(document_id)

鉴于这是一个“相似性搜索”缓存，一种有意义的无效化模式是先进行查找以获取ID，然后使用该ID进行删除。

alookup(prompt, llm_string)

根据提示和llm_string异步查找。

alookup_with_id(prompt, llm_string)

根据提示和llm_string进行查找。

alookup_with_id_through_llm(提示, llm[, stop])

aupdate(提示, llm_string, return_val)

基于提示和llm_string异步更新缓存。

clear(**kwargs)

清除可以接受额外关键字参数的缓存。

delete_by_document_id(文档ID)

鉴于这是一个“相似性搜索”缓存，一种有意义的无效化模式是先进行查找以获取ID，然后使用该ID进行删除。

lookup(提示, llm_string)

根据提示和llm_string进行查找。

lookup_with_id(提示, llm_string)

根据提示和llm_string进行查找。

lookup_with_id_through_llm(提示, llm[, stop])

update(提示, llm_string, return_val)

基于提示和llm_string更新缓存。
__init__(*, collection_name: str = 'langchain_astradb_semantic_cache', token: Optional[Union[str, TokenProvider]] = None, api_endpoint: Optional[str] = None, environment: Optional[str] = None, astra_db_client: Optional[AstraDB] = None, async_astra_db_client: Optional[AsyncAstraDB] = None, namespace: Optional[str] = None, setup_mode: SetupMode = SetupMode.SYNC, pre_delete_collection: bool = False, embedding: Embeddings, metric: Optional[str] = None, similarity_threshold: float = 0.85)[source]

使用Astra DB作为语义（即基于相似度的）查找的向量存储后端的缓存。

它使用单个（向量）集合，可以存储来自多个LLMs缓存的值，因此将在文档元数据中存储LLM的‘llm_string’。

您可以选择首选的相似度（或使用API默认值）。默认分数阈值是根据默认指标调整的。如果切换到另一个距离指标，请仔细调整。

参数

  • collection_name (str) – 需要创建或使用的Astra DB集合的名称。

  • token (可选[Union[str, TokenProvider]]) – Astra DB使用的API令牌，可以是字符串形式，也可以是astrapy.authentication.TokenProvider的子类。如果未提供，将检查环境变量ASTRA_DB_APPLICATION_TOKEN。

  • api_endpoint (可选[str]) – API端点的完整URL，例如 https://<DB-ID>-us-east1.apps.astra.datastax.com。如果未提供，将检查环境变量ASTRA_DB_API_ENDPOINT。

  • environment (可选[str]) – 指定目标数据API的环境的字符串。如果省略，默认为“prod”（Astra DB生产环境）。其他值在astrapy.constants.Environment枚举类中。

  • astra_db_client (可选[AstraDB]) – 从版本0.3.5开始已弃用。请使用‘token’，‘api_endpoint’以及可选的‘environment’。您可以传入已创建的astrapy.db.AstraDB实例（作为‘token’，‘api_endpoint’和‘environment’的替代）。

  • async_astra_db_client (可选[AsyncAstraDB]) – 从版本0.3.5开始已弃用。请使用‘token’，‘api_endpoint’以及可选的‘environment’。您可以传入已创建的astrapy.db.AsyncAstraDB实例（作为‘token’，‘api_endpoint’和‘environment’的替代）。

  • namespace (可选[str]) – 创建集合的命名空间（也称为键空间）。如果未提供，将检查环境变量ASTRA_DB_KEYSPACE。默认为数据库的“ 默认命名空间”。

  • setup_mode （SetupMode）- 用于创建Astra DB集合的模式 （SYNC, ASYNC 或 OFF）。

  • pre_delete_collection （bool）- 是否在创建之前删除集合。如果为False且集合已存在，则按原样使用该集合。

  • embedding （Embeddings）- 用于语义编码和搜索的嵌入提供程序。

  • metric （可选[str]）- 评估文本嵌入相似性的函数。默认值为‘cosine’（其他： ‘euclidean’，‘dot_product’）

  • similarity_threshold （float）- 接受（语义搜索）匹配的最小相似度。

async aclear(**kwargs: Any) → None[source]

异步清除缓存，可接受额外的关键字参数。

参数

kwargs (Any) –

返回类型

None

async adelete_by_document_id(document_id: str) → None[source]

由于这是一个“相似性搜索”缓存，一个有意义的失效模式是首先查找以获取ID，然后使用该ID进行删除。这是第二步。

参数

document_id (str) –

返回类型

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]][source]

根据提示和llm_string异步查找。

缓存实现应该从一个由提示（prompt）和 llm_string 组成的二元组（例如，使用分隔符连接它们）生成键。

参数

  • **prompt** (str) – 提示的字符串表示。对于 Chat 模型，提示是对提示进行非平凡序列化以供语言模型使用。

  • **llm_string** (str) – LLM 配置的字符串表示。这用于捕获 LLM 的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

返回值

在缓存未命中时返回 None。在缓存命中时，返回缓存的值。缓存的值是一个包含 Generation（或其子类）的列表。

返回类型

Optional[Sequence[Generation]]

async alookup_with_id(prompt: str, llm_string: str) → Optional[Tuple[str, Sequence[Generation]][source]

根据提示（prompt）和 llm_string 进行查找。如果有命中，返回最高命中项的（document_id，缓存的条目）。

参数

  • **prompt** (str) –

  • **llm_string** (str) –

返回类型

Optional[Tuple[str, Sequence[Generation]]]

async alookup_with_id_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) → Optional[Tuple[str, Sequence[Generation]]][source]
参数

  • **prompt** (str) –

  • llm (LLM) –

  • stop (Optional[List[str]]) –

返回类型

Optional[Tuple[str, Sequence[Generation]]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]

基于提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存的关键字。关键字应与查找方法的匹配。

参数

  • **prompt** (str) – 提示的字符串表示。对于 Chat 模型，提示是对提示进行非平凡序列化以供语言模型使用。

  • **llm_string** (str) – LLM 配置的字符串表示。这用于捕获 LLM 的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

  • return_val (Sequence[Generation]) – 要缓存的值。值是Generations（或子类）的列表。

返回类型

None

clear(**kwargs: Any) → None[source]

清除可以接受额外关键字参数的缓存。

参数

kwargs (Any) –

返回类型

None

delete_by_document_id(document_id: str) → None[source]

由于这是一个“相似性搜索”缓存，一个有意义的失效模式是首先查找以获取ID，然后使用该ID进行删除。这是第二步。

参数

document_id (str) –

返回类型

None

lookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]][source]

根据提示和llm_string进行查找。

缓存实现应该从一个由提示（prompt）和 llm_string 组成的二元组（例如，使用分隔符连接它们）生成键。

参数

  • **prompt** (str) – 提示的字符串表示。对于 Chat 模型，提示是对提示进行非平凡序列化以供语言模型使用。

  • **llm_string** (str) – LLM 配置的字符串表示。这用于捕获 LLM 的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

返回值

在缓存未命中时返回 None。在缓存命中时，返回缓存的值。缓存的值是一个包含 Generation（或其子类）的列表。

返回类型

Optional[Sequence[Generation]]

lookup_with_id(prompt: str, llm_string: str) → Optional[Tuple[str, Sequence[Generation]]][source]

根据提示（prompt）和 llm_string 进行查找。如果有命中，返回最高命中项的（document_id，缓存的条目）。

参数

  • **prompt** (str) –

  • **llm_string** (str) –

返回类型

Optional[Tuple[str, Sequence[Generation]]]

lookup_with_id_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) → Optional[Tuple[str, Sequence[Generation]][source]
参数

  • **prompt** (str) –

  • llm (LLM) –

  • stop (Optional[List[str]]) –

返回类型

Optional[Tuple[str, Sequence[Generation]]]

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]

基于提示和llm_string更新缓存。

提示和llm_string用于生成缓存的关键字。关键字应与查找方法中的关键字相匹配。

参数

  • **prompt** (str) – 提示的字符串表示。对于 Chat 模型，提示是对提示进行非平凡序列化以供语言模型使用。

  • **llm_string** (str) – LLM 配置的字符串表示。这用于捕获 LLM 的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

  • return_val (Sequence[Generation]) – 要缓存的值。值是Generations（或子类）的列表。

返回类型

None