langchain_core.caches.BaseCache¶
- class langchain_core.caches.BaseCache[source]¶
LLM和聊天模型缓存层的接口。
缓存接口包含以下方法
lookup: 根据提示和llm_string查找值。
update: 根据提示和llm_string更新缓存。
clear: 清除缓存。
此外，缓存接口还提供每个方法的异步版本。
异步方法默认实现是在执行器中运行同步方法。建议重写异步方法并提供异步实现，以避免不必要的开销。
方法
__init__()aclear(**kwargs)接受额外关键字参数的异步清除缓存。
alookup(prompt, llm_string)基于提示和llm_string的异步查找。
aupdate(prompt, llm_string, return_val)基于提示和llm_string的异步更新缓存。
clear(**kwargs)接受额外关键字参数的清除缓存。
lookup(prompt, llm_string)基于提示和llm_string的查找。
update(prompt, llm_string, return_val)基于提示和llm_string的更新缓存。
- __init__()¶
- async alookup(prompt: str, llm_string: str) Optional[Sequence[Generation]][source]¶
基于提示和llm_string的异步查找。
缓存实现应从提示和llm_string的二元组中生成一个键（例如，通过使用分隔符连接它们）。
- 参数
prompt (str) – 提示的字符串表示。在Chat模型的情况下，提示是将提示序列化为语言模型的一个非平凡的过程。
llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。
- 返回
在缓存未命中时返回 None。在缓存命中时返回缓存的值。缓存的值是世代（或子类）的列表。
- 返回类型
可选[序列[世代]]
- async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) None[source]¶
基于提示和llm_string的异步更新缓存。
提示和 llm_string 用于生成缓存键。键应与查找方法的键匹配。
- 参数
prompt (str) – 提示的字符串表示。在Chat模型的情况下，提示是将提示序列化为语言模型的一个非平凡的过程。
llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。
return_val (序列[世代]) – 要缓存的值。值是世代（或子类）的列表。
- 返回类型
None
- abstract lookup(prompt: str, llm_string: str) Optional[Sequence[Generation]][source]¶
基于提示和llm_string的查找。
缓存实现应从提示和llm_string的二元组中生成一个键（例如，通过使用分隔符连接它们）。
- 参数
prompt (str) – 提示的字符串表示。在Chat模型的情况下，提示是将提示序列化为语言模型的一个非平凡的过程。
llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。
- 返回
在缓存未命中时返回 None。在缓存命中时返回缓存的值。缓存的值是世代（或子类）的列表。
- 返回类型
可选[序列[世代]]
- 摘要 update(prompt: str, llm_string: str, return_val: Sequence[Generation]) None[source]¶
基于提示和llm_string的更新缓存。
提示和llm_string用于为缓存生成一个键。该键应与查找方法的键匹配。
- 参数
prompt (str) – 提示的字符串表示。在Chat模型的情况下，提示是将提示序列化为语言模型的一个非平凡的过程。
llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。
return_val (序列[世代]) – 要缓存的值。值是世代（或子类）的列表。
- 返回类型
None