langchain_community.cache.CassandraSemanticCache

class langchain_community.cache.CassandraSemanticCache(session: Optional[CassandraSession] = None, keyspace: Optional[str] = None, embedding: Optional[Embeddings] = None, table_name: str = 'langchain_llm_semantic_cache', distance_metric: Optional[str] = None, score_threshold: float = 0.85, ttl_seconds: Optional[int] = None, skip_provisioning: bool = False, similarity_measure: str = 'dot', setup_mode: CassandraSetupMode = SetupMode.SYNC)[源码]

使用Cassandra作为语义（即基于相似度）查找的后端向量存储的缓存。

示例

import cassio

from langchain_community.cache import CassandraSemanticCache
from langchain_core.globals import set_llm_cache

cassio.init(auto=True)  # Requires env. variables, see CassIO docs

my_embedding = ...

set_llm_cache(CassandraSemanticCache(
    embedding=my_embedding,
    table_name="my_semantic_cache",
))

它使用一个（向量）Cassandra表，原则上存储了几个LLM的缓存值，因此LLM的llm_string是行的主键的一部分。

可以选择一个相似度度量（默认：“dot”表示点积）。选择另一个（“cos”，“l2”）几乎肯定需要阈值调整。（即使坚持“dot”，这也可能是必要的）。

参数

  • session (可选[CassandraSession]) – 一个开启的Cassandra会话。未经指定则使用全局的cassio初始化（见下文）

  • keyspace (可选[str]) – 用于存储缓存的键空间。未经指定则使用全局的cassio初始化（见下文）

  • embedding (可选[Embeddings]) – 用于语义编码和搜索的嵌入提供商。

  • table_name (str) – 使用缓存所需Cassandra（向量）表名称。对于“简单”用途有默认值，但请注意，如果您的应用程序中存在多个嵌入模型（它们不能共享一个缓存表），请显式指定不同的表。

  • distance_metric (可选[str]) – 对‘similarity_measure’参数的别名（见下文）。由于“distance”（距离）一词容易误导，请尽可能使用‘similarity_measure’以保持清晰。此参数由‘distance_metric’别名，但建议使用“similarity”术语，因为此值实际上是一个相似度（即数值越高表示越接近）。注意，两个参数中最多只能提供其中一个‘distance_metric’和‘similarity_measure’。

  • score_threshold (float) – 用于相似度搜索的截止数值。

  • ttl_seconds (可选[int]) – 缓存条目的有效期（默认：None，即永远）。

  • similarity_measure (str) – 选用哪个度量值用于相似度搜索。注意：此参数由‘distance_metric’别名，但建议使用“similarity”术语，因为这个值实际上是一个相似度（即数值越高表示越接近）。请注意，两个参数中最多只能提供一个‘distance_metric’或‘similarity_measure’。

  • setup_mode (CassandraSetupMode) – langchain_community.utilities.cassandra.SetupMode中的一个值。可以选择SYNC、ASYNC或OFF - 后者如果已保证Cassandra表存在，则进行更快的初始化。

  • skip_provisioning (bool) –

注释

当未指定（或作为None传递）session和keyspace参数时，如果全局范围内有可用的cassio设置，则会回退到全局cassio设置。换句话说，如果之前在任何代码中执行过已运行的‘cassio.init(…)’，则基于Cassandra的对象无需指定任何连接参数。

方法

__init__([session, keyspace, embedding, ...])

aclear(**kwargs)

清除整个语义缓存。

adelete_by_document_id(document_id)

鉴于这是一个“相似度搜索”缓存，一个有效的无效化模式是首先通过获取ID查找，然后使用该ID删除。

alookup(prompt, llm_string)

基于提示和llm_string的异步查找。

alookup_with_id(prompt, llm_string)

基于提示和llm_string进行查找。

alookup_with_id_through_llm(prompt, llm[, stop])

aupdate(prompt, llm_string, return_val)

基于提示和llm_string异步更新缓存。

clear(**kwargs)

清除整个语义缓存。

delete_by_document_id(document_id)

鉴于这是一个“相似度搜索”缓存，一个有效的无效化模式是首先通过获取ID查找，然后使用该ID删除。

lookup(prompt, llm_string)

基于提示和llm_string进行查找。

lookup_with_id(prompt, llm_string)

基于提示和llm_string进行查找。

lookup_with_id_through_llm(prompt, llm[, stop])

update(prompt, llm_string, return_val)

根据提示和llm_string更新缓存。
__init__(session: Optional[CassandraSession] = None, keyspace: Optional[str] = None, embedding: Optional[Embeddings] = None, table_name: str = 'langchain_llm_semantic_cache', distance_metric: Optional[str] = None, score_threshold: float = 0.85, ttl_seconds: Optional[int] = None, skip_provisioning: bool = False, similarity_measure: str = 'dot', setup_mode: CassandraSetupMode = SetupMode.SYNC)[源代码]
参数

  • session (可选：CassandraSession]) –

  • keyspace (可选：字符串]) –

  • embedding (可选：Embeddings]) –

  • table_name (字符串) –

  • distance_metric (可选：字符串]) –

  • score_threshold (浮点数) –

  • ttl_seconds (可选：整型]) –

  • skip_provisioning (bool) –

  • similarity_measure (字符串) –

  • setup_mode (CassandraSetupMode) –

async aclear(**kwargs: Any) → None[source]

清除整个语义缓存。

参数

kwargs (Any) –

返回类型

None

async adelete_by_document_id(document_id: str) → None[source]

鉴于这是一个“相似度搜索”缓存，一个合理的失效模式是首先通过查找来获取ID，然后再使用该ID进行删除。这是第二步。

参数

document_id (str) –

返回类型

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]][source]

基于提示和llm_string的异步查找。

缓存实现应从提示和llm_string的二元组中生成一个键（例如，通过使用分隔符将它们连接起来）。

参数

  • prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是提示被序列化为语言模型中的非平凡序列化。

  • llm_string (str) – LLM 配置的字符串表示。这用于捕获 LLM 的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

返回值

在缓存未命中时返回 None。在缓存命中时返回缓存的值。缓存的值是 Generation（或其子类）的列表。

返回类型

Optional[Sequence[Generation]]

async alookup_with_id(prompt: str, llm_string: str) → Optional[Tuple[str, Sequence[Generation]]][source]

基于提示和llm_string进行查找。如有匹配项，则返回（文档ID，缓存条目）

参数

  • prompt (str) –

  • llm_string (str) –

返回类型

[tuple[str, Sequence[Generation]]

async alookup_with_id_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) → Optional[Tuple[str, Sequence[Generation]]][source]
参数

  • prompt (str) –

  • llm (LLM) –

  • stop ([str 列表]) –

返回类型

[tuple[str, Sequence[Generation]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]

基于提示和llm_string异步更新缓存。

提示符和 llm_string 用于生成缓存的键。此键应与查找方法的键匹配。

参数

  • prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是提示被序列化为语言模型中的非平凡序列化。

  • llm_string (str) – LLM 配置的字符串表示。这用于捕获 LLM 的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

  • return_val (序列[生成]) – 要缓存的值。该值是一个包含生成器（或子类）的列表。

返回类型

None

clear(**kwargs: Any) → None[source]

清除整个语义缓存。

参数

kwargs (Any) –

返回类型

None

delete_by_document_id(document_id: str) → None[source]

鉴于这是一个“相似度搜索”缓存，一个合理的失效模式是首先通过查找来获取ID，然后再使用该ID进行删除。这是第二步。

参数

document_id (str) –

返回类型

None

lookup(prompt: str, llm_string: str) → Optional[序列[生成]][source]

基于提示和llm_string进行查找。

缓存实现应从提示和llm_string的二元组中生成一个键（例如，通过使用分隔符将它们连接起来）。

参数

  • prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是提示被序列化为语言模型中的非平凡序列化。

  • llm_string (str) – LLM 配置的字符串表示。这用于捕获 LLM 的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

返回值

在缓存未命中时返回 None。在缓存命中时返回缓存的值。缓存的值是 Generation（或其子类）的列表。

返回类型

Optional[Sequence[Generation]]

lookup_with_id(prompt: str, llm_string: str) → Optional[Tuple[str, Sequence[Generation]]][source]

基于提示和llm_string进行查找。如有匹配项，则返回（文档ID，缓存条目）

参数

  • prompt (str) –

  • llm_string (str) –

返回类型

[tuple[str, Sequence[Generation]]

lookup_with_id_through_llm(prompt: str, llm: LLM, stop: Optional[List[str]] = None) → Optional[Tuple[str, Sequence[Generation]]][source]
参数

  • prompt (str) –

  • llm (LLM) –

  • stop ([str 列表]) –

返回类型

[tuple[str, Sequence[Generation]]

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None[source]

根据提示和llm_string更新缓存。

提示信息和llm_string用于生成缓存的键。键应与查找方法的键匹配。

参数

  • prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是提示被序列化为语言模型中的非平凡序列化。

  • llm_string (str) – LLM 配置的字符串表示。这用于捕获 LLM 的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

  • return_val (序列[生成]) – 要缓存的值。该值是一个包含生成器（或子类）的列表。

返回类型

None

CassandraSemanticCache的使用示例