langchain_community.cache.MomentoCache

class langchain_community.cache.MomentoCache(cache_client: momento.CacheClient, cache_name: str, *, ttl: Optional[timedelta] = None, ensure_cache_exists: bool = True)[source]

使用Momento作为后端的缓存。查看https://gomomento.com/

使用Momento作为后端创建提示缓存。

注意：要实例化传递给MomentoCache的缓存客户端，您必须有一个Momento账户。查看https://gomomento.com/。

参数

  • cache_client (CacheClient) – Momento缓存客户端。

  • cache_name (str) – 用于存储数据的缓存名称。

  • ttl (Optional[timedelta], 可选) – 缓存项的存活时间。默认为None，即使用客户端默认TTL。

  • ensure_cache_exists (bool, 可选) – 如果缓存不存在，则创建缓存。默认为True。

引发

  • ImportError – Momento Python包未安装。

  • TypeError – cache_client不是momento.CacheClientObject类型。

  • ValueError – ttl非空且非负。

方法

__init__(cache_client, cache_name, *[, ttl, ...])

使用Momento作为后端创建提示缓存。

aclear(**kwargs)

异步清除缓存，可以接受额外关键字参数。

alookup(prompt, llm_string)

根据提示和llm_string进行异步查找。

aupdate(prompt, llm_string, return_val)

根据提示和llm_string异步更新缓存。

clear(**kwargs)

清除缓存。

from_client_params(cache_name, ttl, *[, ...])

从CacheClient参数构建缓存。

lookup(prompt, llm_string)

通过提示和关联模型和设置在缓存中查找llm生成内容。

update(prompt, llm_string, return_val)

将llm生成内容存储在缓存中。
__init__(cache_client: momento.CacheClient, cache_name: str, *, ttl: Optional[timedelta] = None, ensure_cache_exists: bool = True)[source]

使用Momento作为后端创建提示缓存。

注意：要实例化传递给MomentoCache的缓存客户端，您必须有一个Momento账户。查看https://gomomento.com/。

参数

  • cache_client (CacheClient) – Momento缓存客户端。

  • cache_name (str) – 用于存储数据的缓存名称。

  • ttl (Optional[timedelta], 可选) – 缓存项的存活时间。默认为None，即使用客户端默认TTL。

  • ensure_cache_exists (bool, 可选) – 如果缓存不存在，则创建缓存。默认为True。

引发

  • ImportError – Momento Python包未安装。

  • TypeError – cache_client不是momento.CacheClientObject类型。

  • ValueError – ttl非空且非负。

async aclear(**kwargs: Any) → None

异步清除缓存，可以接受额外关键字参数。

参数

kwargs (Any) –

返回类型

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

根据提示和llm_string进行异步查找。

期望缓存实现能根据提示和llm_string的二元组生成一个键（例如，通过连接符连接它们）。

参数

  • prompt (str) – 提示的字符串表示。对于聊天模型，提示是对提示的非平凡序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

返回

在缓存的缺失情况下，返回None。在缓存命中的情况下，返回缓存的值。缓存的值是一系列生成内容（或子类）。

返回类型

Optional[Sequence[Generation]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存键。键应该与查找方法的键匹配。

参数

  • prompt (str) – 提示的字符串表示。对于聊天模型，提示是对提示的非平凡序列化为语言模型。

  • llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

  • return_val (Sequence[Generation]) – 要缓存的价值。值是Generations（或其子类）的列表。

返回类型

None

clear(**kwargs: Any) → None[source]

清除缓存。

引发

SdkException – Momento服务或网络错误

参数

kwargs (Any) –

返回类型

None

classmethod from_client_params(cache_name: str, ttl: timedelta, *, configuration: Optional[momento.config.Configuration] = None, api_key: Optional[str] = None, auth_token: Optional[str] = None, **kwargs: Any) → MomentoCache[source]

从CacheClient参数构建缓存。

参数

  • cache_name (str) –

  • ttl (timedelta) –

  • configuration (Optional[momento.config.Configuration]) –

  • api_key (可选[字符串]) –

  • auth_token (可选[字符串]) –

  • kwargs (Any) –

返回类型

MomentoCache

lookup(prompt: str, llm_string: str) → Optional[序列[生成]]][源代码]

通过提示和关联模型和设置在缓存中查找llm生成内容。

参数

  • prompt (字符串) – 通过语言模型执行提示。

  • llm_string (字符串) – 语言模型版本和设置。

引发

SdkException – Momento服务或网络错误

返回

语言模型生成的列表。

返回类型

可选[返回值类型]

update(prompt: str, llm_string: str, return_val: 序列[生成]) → None[源代码]

将llm生成内容存储在缓存中。

参数

  • prompt (字符串) – 通过语言模型执行提示。

  • llm_string (字符串) – 语言模型字符串。

  • return_val (返回值类型) – 语言模型生成的列表。

引发

  • SdkException – Momento服务或网络错误

  • 异常 – 预期之外的响应

返回类型

None

使用MomentoCache的示例