langchain_astradb.cache.AstraDBCache

class langchain_astradb.cache.AstraDBCache(*, collection_name: str = 'langchain_astradb_cache', token: Optional[Union[str, TokenProvider]] = None, api_endpoint: Optional[str] = None, environment: Optional[str] = None, astra_db_client: Optional[AstraDB] = None, async_astra_db_client: Optional[AsyncAstraDB] = None, namespace: Optional[str] = None, pre_delete_collection: bool = False, setup_mode: SetupMode = SetupMode.SYNC)

使用 Astra DB 作为后端存储的缓存。

它使用一个集合作为 kv 存储，查找键（文档的 _id）包括：

• 提示，一个字符串

• llm_string，模型参数的确定性字符串表示。（用于防止相同提示不同模型冲突）

参数

• collection_name (str) – 要创建/使用的 Astra DB 集合名称。

• token (可选[Union[str, TokenProvider]]) – Astra DB使用的API令牌，可以是字符串形式或TokenProvider子类的形式。如果未提供，将检查环境变量ASTRA_DB_APPLICATION_TOKEN。

• api_endpoint (可选[str]) – API端点的完整URL，例如 https://<DB-ID>-us-east1.apps.astra.datastax.com。如果未提供，将检查环境变量ASTRA_DB_API_ENDPOINT。

• environment (可选[str]) – 指定目标数据API环境的字符串。省略则默认为“prod”（Astra DB生产环境）。其他值见astrapy.constants.Environment枚举类。

• astra_db_client (可选[AstraDB]) – 自版本0.3.5开始已弃用。 请使用‘token’，‘api_endpoint’和可选的‘environment’。您可以传递一个已经创建的‘astrapy.db.AstraDB’实例（代替‘token’，‘api_endpoint’和‘environment’）。

• async_astra_db_client (可选[AsyncAstraDB]) – 自版本0.3.5开始已弃用。 请使用‘token’，‘api_endpoint’和可选的‘environment’。您可以传递一个已经创建的‘astrapy.db.AsyncAstraDB’实例（代替‘token’，‘api_endpoint’和‘environment’）。

• namespace (可选[str]) – 创建集合的命名空间（也称为键空间）。如果未提供，将检查环境变量ASTRA_DB_KEYSPACE。默认为数据库的“默认命名空间”。

• setup_mode (SetupMode) – 创建Astra DB集合时使用的模式（SYNC，ASYNC或OFF）。

• pre_delete_collection (bool) – 是否在创建集合之前删除它。如果为False且集合已存在，将使用现有集合。

方法

__init__(*[, collection_name, token, ...])	使用 Astra DB 作为后端存储的缓存。
aclear(**kwargs)	异步清除缓存，可以接受额外的关键字参数。
adelete(prompt, llm_string)	如果存在条目，则从缓存中驱逐。
adelete_through_llm(prompt, llm[, stop])	使用传递给LLM的包装器adelete。
alookup(prompt, llm_string)	基于提示和llm_string的异步查找。
aupdate(prompt, llm_string, return_val)	根据提示和llm_string异步更新缓存。
clear(**kwargs)	可以接受额外关键字参数的清除缓存。
delete(prompt, llm_string)	如果存在条目，则从缓存中驱逐。
delete_through_llm(prompt, llm[, stop])	使用传递给LLM的包装器delete。
lookup(prompt, llm_string)	基于提示和llm_string的查找。
update(prompt, llm_string, return_val)	基于提示和 llm_string 更新缓存。

__init__(*, collection_name: str = 'langchain_astradb_cache', token: Optional[Union[str, TokenProvider]], api_endpoint: Optional[str], environment: Optional[str], astra_db_client: Optional[AstraDB], async_astra_db_client: Optional[AsyncAstraDB], namespace: Optional[str], pre_delete_collection: bool = False, setup_mode: SetupMode = SetupMode.SYNC)

使用 Astra DB 作为后端存储的缓存。

它使用一个集合作为 kv 存储，查找键（文档的 _id）包括：

• 提示，一个字符串

• llm_string，模型参数的确定性字符串表示。（用于防止相同提示不同模型冲突）

参数

• collection_name (str) – 要创建/使用的 Astra DB 集合名称。

• token (可选[Union[str, TokenProvider]]) – Astra DB使用的API令牌，可以是字符串形式或TokenProvider子类的形式。如果未提供，将检查环境变量ASTRA_DB_APPLICATION_TOKEN。

• api_endpoint (可选[str]) – API端点的完整URL，例如 https://<DB-ID>-us-east1.apps.astra.datastax.com。如果未提供，将检查环境变量ASTRA_DB_API_ENDPOINT。

• environment (可选[str]) – 指定目标数据API环境的字符串。省略则默认为“prod”（Astra DB生产环境）。其他值见astrapy.constants.Environment枚举类。

• astra_db_client (可选[AstraDB]) – 自版本0.3.5开始已弃用。 请使用‘token’，‘api_endpoint’和可选的‘environment’。您可以传递一个已经创建的‘astrapy.db.AstraDB’实例（代替‘token’，‘api_endpoint’和‘environment’）。

• async_astra_db_client (可选[AsyncAstraDB]) – 自版本0.3.5开始已弃用。 请使用‘token’，‘api_endpoint’和可选的‘environment’。您可以传递一个已经创建的‘astrapy.db.AsyncAstraDB’实例（代替‘token’，‘api_endpoint’和‘environment’）。

• namespace (可选[str]) – 创建集合的命名空间（也称为键空间）。如果未提供，将检查环境变量ASTRA_DB_KEYSPACE。默认为数据库的“默认命名空间”。

• setup_mode (SetupMode) – 创建Astra DB集合时使用的模式（SYNC，ASYNC或OFF）。

• pre_delete_collection (bool) – 是否在创建集合之前删除它。如果为False且集合已存在，将使用现有集合。

async aclear(**kwargs: Any) → None

异步清除缓存，可以接受额外的关键字参数。

参数

kwargs (Any) –

返回类型

None

async adelete(prompt: str, llm_string: str) → None

如果存在条目，则从缓存中删除。

参数

• prompt (字符串) –

• llm_string (字符串) –

返回类型

None

async adelete_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) → None

是对adelete的封装，其中传递了LLM。如果在llm(prompt)调用中有一个stop参数，则应在这里传递。

参数

• prompt (字符串) –

• llm (LLM) –

• stop (可选[列表[字符串]]) –

返回类型

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

基于提示和llm_string的异步查找。

缓存实现预期将从由提示和llm_string组成的元组生成一个键（例如，通过使用分隔符将它们连接起来）。

参数

• prompt (字符串) – 提示的字符串表示形式。在聊天模型的情况下，提示是将提示非平凡序列化为语言模型的过程。

• llm_string (str) – LLM配置的字符串表示形式。这用于捕获LLM的调用参数（例如，模型名称、温度、停止令牌、最大令牌数等）。这些调用参数被序列化成字符串形式。

返回

在缓存未命中时返回None。在缓存命中时返回缓存值。缓存值是一个生成器（或子类）的列表。

返回类型

可选[Sequence[Generation]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存键。键应与查找方法的键匹配。

参数

• prompt (字符串) – 提示的字符串表示形式。在聊天模型的情况下，提示是将提示非平凡序列化为语言模型的过程。

• llm_string (str) – LLM配置的字符串表示形式。这用于捕获LLM的调用参数（例如，模型名称、温度、停止令牌、最大令牌数等）。这些调用参数被序列化成字符串形式。

• return_val (Sequence[Generation]) – 要缓存的价值。该值是生成器（或子类）的列表。

返回类型

None

clear(**kwargs: Any) → None

可以接受额外关键字参数的清除缓存。

参数

kwargs (Any) –

返回类型

None

delete(prompt: str, llm_string: str) → None

如果存在条目，则从缓存中删除。

参数

• prompt (字符串) –

• llm_string (字符串) –

返回类型

None

delete_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) → None

对delete函数进行包装，其中传入LLM。如果在llm(prompt)调用中有一个stop参数，请在此处传入。

参数

• prompt (字符串) –

• llm (LLM) –

• stop (可选[列表[字符串]]) –

返回类型

None

lookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

基于提示和llm_string的查找。

缓存实现预期将从由提示和llm_string组成的元组生成一个键（例如，通过使用分隔符将它们连接起来）。

参数

• prompt (字符串) – 提示的字符串表示形式。在聊天模型的情况下，提示是将提示非平凡序列化为语言模型的过程。

• llm_string (str) – LLM配置的字符串表示形式。这用于捕获LLM的调用参数（例如，模型名称、温度、停止令牌、最大令牌数等）。这些调用参数被序列化成字符串形式。

返回

在缓存未命中时返回None。在缓存命中时返回缓存值。缓存值是一个生成器（或子类）的列表。

返回类型

可选[Sequence[Generation]]

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

基于提示和 llm_string 更新缓存。

提示和llm_string用于生成缓存键。键应该与lookup方法的键匹配。

参数

• prompt (字符串) – 提示的字符串表示形式。在聊天模型的情况下，提示是将提示非平凡序列化为语言模型的过程。

• llm_string (str) – LLM配置的字符串表示形式。这用于捕获LLM的调用参数（例如，模型名称、温度、停止令牌、最大令牌数等）。这些调用参数被序列化成字符串形式。

• return_val (Sequence[Generation]) – 要缓存的价值。该值是生成器（或子类）的列表。

返回类型

None