langchain_community.cache.CassandraCache

class langchain_community.cache.CassandraCache(session: Optional[CassandraSession] = None, keyspace: Optional[str] = None, table_name: str = 'langchain_llm_cache', ttl_seconds: Optional[int] = None, skip_provisioning: bool = False, setup_mode: CassandraSetupMode = SetupMode.SYNC)

使用Cassandra / Astra DB作为后端缓存的缓存。

示例

import cassio

from langchain_community.cache import CassandraCache
from langchain_core.globals import set_llm_cache

cassio.init(auto=True)  # Requires env. variables, see CassIO docs

set_llm_cache(CassandraCache())

它使用单个Cassandra表。查找键（形成主键的一部分）是

• 提示，一个字符串

• llm_string，模型参数的确定性字符串表示（用于防止相同提示不同模型的冲突）

参数

• session (可选[CassandraSession]) – 一个打开的Cassandra会话。留空或不指定，则使用全局cassio初始化（见下文）

• keyspace (可选[str]) – 存储缓存所使用的空间。留空或不指定，则使用全局cassio初始化（见下文）

• table_name (str) – 使用作为缓存的Cassandra表名

• ttl_seconds (可选[int]) – 缓存条目的生存时间（默认：None，即永远）

• setup_mode (CassandraSetupMode) – langchain_community.utilities.cassandra.SetupMode中的一个值。在SYNC，ASYNC和OFF之间选择 - 后者为Cassandra表已保证存在，用于更快的初始化。

• skip_provisioning (bool) –

注意

当省略（或传递None）session和keyspace参数时，如果有全球可用的cassio设置，则回退到全局cassio设置。换句话说，如果先前提到的‘cassio.init(…)’在任何代码部分中已执行，则基于Cassandra的对象就无需指定连接参数。

方法

__init__([session, keyspace, table_name, ...])
aclear(**kwargs)	清除缓存。
alookup(prompt, llm_string)	基于提示和llm_string的异步查找。
aupdate(prompt, llm_string, return_val)	基于提示和llm_string异步更新缓存。
clear(**kwargs)	清除缓存。
delete(prompt, llm_string)	如果存在条目，则从缓存中移除。
delete_through_llm(prompt, llm[, stop])	包裹了delete的方法，并传入了LLM。
lookup(prompt, llm_string)	基于提示和llm_string进行查找。
update(prompt, llm_string, return_val)	基于提示和llm_string更新缓存。

__init__(session: Optional[CassandraSession] = None, keyspace: Optional[str] = None, table_name: str = 'langchain_llm_cache', ttl_seconds: Optional[int] = None, skip_provisioning: bool = False, setup_mode: CassandraSetupMode = SetupMode.SYNC)

参数

• session (可选：CassandraSession) –

• keyspace (可选：str) –

• table_name (str) –

• ttl_seconds （可选]int]）–

• skip_provisioning (bool) –

• setup_mode （CassandraSetupMode）–

async aclear(**kwargs: Any) → None

清除缓存。这是针对所有LLM的。

参数

kwargs （Any）–

返回类型

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

基于提示和llm_string的异步查找。

缓存实现应从提示和llm_string的两元组生成密钥（例如，通过使用分隔符连接它们）。

参数

• prompt （str）–提示的字符串表示。对于聊天模型的案例，提示是对提示非平凡序列化的语言模型。

• llm_string （str）–LLM设置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称，温度，停止令牌，最大令牌等）。这些调用参数序列化为字符串表示。

返回

在缓存未命中时返回None。在缓存命中时返回缓存值。缓存值是Generations（或其子类）的列表。

返回类型

可选[Sequence[Generation]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

基于提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存密钥。密钥应与查找方法匹配。

参数

• prompt （str）–提示的字符串表示。对于聊天模型的案例，提示是对提示非平凡序列化的语言模型。

• llm_string （str）–LLM设置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称，温度，停止令牌，最大令牌等）。这些调用参数序列化为字符串表示。

• return_val （Sequence[Generation]）–要缓存的值。该值是Generations（或其子类）的列表。

返回类型

None

clear(**kwargs: Any) → None

清除缓存。这是针对所有LLM的。

参数

kwargs （Any）–

返回类型

None

delete(prompt: str, llm_string: str) → None

如果存在条目，则从缓存中清除。

参数

• prompt (str) –

• llm_string (str) –

返回类型

None

delete_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) → None

一个围绕(delete)和传递LLM的包装器。如果llm.invoke(prompt)调用有stop参数，你应该在这里传递它

参数

• prompt (str) –

• llm (LLM) –

• stop (Optional[List[str]]) –

返回类型

None

lookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

基于提示和llm_string进行查找。

缓存实现应从提示和llm_string的两元组生成密钥（例如，通过使用分隔符连接它们）。

参数

• prompt （str）–提示的字符串表示。对于聊天模型的案例，提示是对提示非平凡序列化的语言模型。

• llm_string （str）–LLM设置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称，温度，停止令牌，最大令牌等）。这些调用参数序列化为字符串表示。

返回

在缓存未命中时返回None。在缓存命中时返回缓存值。缓存值是Generations（或其子类）的列表。

返回类型

可选[Sequence[Generation]]

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

基于提示和llm_string更新缓存。

提示（prompt）和 llm_string 用来生成缓存的键。键应该与查找方法的键匹配。

参数

• prompt （str）–提示的字符串表示。对于聊天模型的案例，提示是对提示非平凡序列化的语言模型。

• llm_string （str）–LLM设置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称，温度，停止令牌，最大令牌等）。这些调用参数序列化为字符串表示。

• return_val （Sequence[Generation]）–要缓存的值。该值是Generations（或其子类）的列表。

返回类型

None

使用 CassandraCache 的示例

• Cassandra

• 模型缓存