langchain_community.cache.RedisSemanticCache

class langchain_community.cache.RedisSemanticCache(redis_url: str, embedding: Embeddings, score_threshold: float = 0.2)

使用Redis作为向量存储后端缓存的缓存。

通过传入 init GPTCache 功能进行初始化。

参数

• redis_url (str) – 连接到Redis的URL。

• embedding (Embedding) – 用于语义编码和搜索的嵌入提供者。

• score_threshold (float, 0.2) –

示例

from langchain_community.globals import set_llm_cache

from langchain_community.cache import RedisSemanticCache
from langchain_community.embeddings import OpenAIEmbeddings

set_llm_cache(RedisSemanticCache(
    redis_url="redis://localhost:6379",
    embedding=OpenAIEmbeddings()
))

属性

DEFAULT_SCHEMA

方法

__init__(redis_url, embedding[, score_threshold])	通过传入 init GPTCache 功能进行初始化。
aclear(**kwargs)	接受额外关键字参数的异步清除缓存。
alookup(prompt, llm_string)	根据提示和llm_string进行异步查找。
aupdate(prompt, llm_string, return_val)	根据提示和llm_string异步更新缓存。
clear(**kwargs)	清除指定llm_string的语义缓存。
lookup(prompt, llm_string)	根据提示和llm_string进行查找。
update(prompt, llm_string, return_val)	根据提示和llm_string更新缓存。

__init__(redis_url: str, embedding: Embeddings, score_threshold: float = 0.2)

通过传入 init GPTCache 功能进行初始化。

参数

• redis_url (str) – 连接到Redis的URL。

• embedding (Embedding) – 用于语义编码和搜索的嵌入提供者。

• score_threshold (float, 0.2) –

示例

from langchain_community.globals import set_llm_cache

from langchain_community.cache import RedisSemanticCache
from langchain_community.embeddings import OpenAIEmbeddings

set_llm_cache(RedisSemanticCache(
    redis_url="redis://localhost:6379",
    embedding=OpenAIEmbeddings()
))

async aclear(**kwargs: Any) → None

接受额外关键字参数的异步清除缓存。

参数

kwargs (Any) –

返回类型

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

根据提示和llm_string进行异步查找。

期望缓存实现从提示和llm_string的二元组生成一个键（例如，通过添加分隔符连接它们）。

参数

• prompt (str) – 提示的字符串表示。在Chat模型的情况下，提示是提示序列化为语言模型的一种非平凡的方式。

• llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称，温度，停止令牌，最大令牌等）。这些调用参数序列化为字符串表示。

返回值

在缓存未命中时返回 None。在缓存命中时返回缓存的值。缓存的值是Generations（或其子类）的列表。

返回类型

Optional[Sequence[Generation]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string异步更新缓存。

提示和llm_string用于生成缓存键。键应与查找方法的键匹配。

参数

• prompt (str) – 提示的字符串表示。在Chat模型的情况下，提示是提示序列化为语言模型的一种非平凡的方式。

• llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称，温度，停止令牌，最大令牌等）。这些调用参数序列化为字符串表示。

• return_val (Sequence[Generation]) – 要缓存的值。该值是Generations（或其子类）的列表。

返回类型

None

clear(**kwargs: Any) → None

清除指定llm_string的语义缓存。

参数

kwargs (Any) –

返回类型

None

lookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

根据提示和llm_string进行查找。

参数

• prompt (str) –

• llm_string (str) –

返回类型

Optional[Sequence[Generation]]

update(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

根据提示和llm_string更新缓存。

参数

• prompt (str) –

• llm_string (str) –

• return_val (Sequence[Generation]) –

返回类型

None

使用 RedisSemanticCache 的示例

• 模型缓存

• Redis