langchain_community.cache.AzureCosmosDBSemanticCache

class langchain_community.cache.AzureCosmosDBSemanticCache(cosmosdb_connection_string: str, database_name: str, collection_name: str, embedding: Embeddings, *, cosmosdb_client: Optional[Any] = None, num_lists: int = 100, similarity: CosmosDBSimilarityType = CosmosDBSimilarityType.COS, kind: CosmosDBVectorSearchType = CosmosDBVectorSearchType.VECTOR_IVF, dimensions: int = 1536, m: int = 16, ef_construction: int = 64, ef_search: int = 40, score_threshold: Optional[float] = None, application_name: str = 'LANGCHAIN_CACHING_PYTHON')[source]

使用 Cosmos DB Mongo vCore 矢量存储后端的缓存

参数

  • cosmosdb_connection_string (str) – Cosmos DB Mongo vCore 连接字符串

  • cosmosdb_client (可选[Any]) – Cosmos DB Mongo vCore 客户端

  • embedding (嵌入) – 用于语义编码和搜索的嵌入提供者。

  • 数据库名称 (str) – 用于 CosmosDBMongoVCoreSemanticCache 的数据库名称

  • 集合名称 (str) – 用于 CosmosDBMongoVCoreSemanticCache 的集合名称

  • num_lists (int) – 这是一个整数，它是逆文件（IVF）索引用于对向量数据进行分组所使用的聚类数量。我们建议对于一百万份文件以内的文档，将 numLists 设置为 documentCount/1000；对于一百万份文件以上的文档，设置为 sqrt(documentCount)。使用 numLists 值为 1 相当于进行暴力搜索，性能有限

  • dimensions (int) – 向量相似度的维度数量。支持的最大维度数是 2000

  • similarity (CosmosDBSimilarityType) –

    与 IVF 索引一起使用的相似度度量。

    可能选项有

    • CosmosDBSimilarityType.COS (余弦距离)，

    • CosmosDBSimilarityType.L2 (欧几里得距离)，以及

    • CosmosDBSimilarityType.IP (内积)。

  • kind (CosmosDBVectorSearchType) –

    要创建的向量索引的类型。可能的选项包括

  • m (int) – 每层的最大连接数（默认值是 16，最小值是 2，最大值是 100）。更高的 m 适合高维数据集以及/或高精度要求。

  • ef_construction (int) – 构建图时动态候选列表的大小（默认值是 64，最小值是 4，最大值是 1000）。更高的 ef_construction 会导致更好的索引质量和更高的精度，但也会增加构建索引所需的时间。ef_construction 至少要是 2 * m。

  • ef_search (int) – 搜索时动态候选列表的大小（默认值是 40）。较高的值会在速度的代价下提供更好的召回率。

  • score_threshold (Optional[float]) – 用作过滤向量搜索文档的最大分数。

  • application_name (str) – 客户端的应用程序名称，用于跟踪和记录

属性

DEFAULT_COLLECTION_NAME

DEFAULT_DATABASE_NAME

方法

__init__(cosmosdb_connection_string, ...[, ...])

参数 cosmosdb_connection_string

Cosmos DB Mongo vCore 连接字符串

aclear(**kwargs)

可以接受额外关键字参数的异步清除缓存。

alookup(prompt, llm_string)

基于提示和 llm_string 的异步查找。

aupdate(prompt, llm_string, return_val)

基于提示和 llm_string 的异步更新缓存。

clear(**kwargs)

清除特定 llm_string 的语义缓存。

lookup(prompt, llm_string)

根据提示和llm_string进行查找。

update(prompt, llm_string, return_val)

根据提示和llm_string更新缓存。
__init__(cosmosdb_connection_string: str, database_name: str, collection_name: str, embedding: Embeddings, *, cosmosdb_client: Optional[Any] = None, num_lists: int = 100, similarity: CosmosDBSimilarityType = CosmosDBSimilarityType.COS, kind: CosmosDBVectorSearchType = CosmosDBVectorSearchType.VECTOR_IVF, dimensions: int = 1536, m: int = 16, ef_construction: int = 64, ef_search: int = 40, score_threshold: Optional[float] = None, application_name: str = 'LANGCHAIN_CACHING_PYTHON')[source]
参数

  • cosmosdb_connection_string (str) – Cosmos DB Mongo vCore 连接字符串

  • cosmosdb_client (可选[Any]) – Cosmos DB Mongo vCore 客户端

  • embedding (嵌入) – 用于语义编码和搜索的嵌入提供者。

  • 数据库名称 (str) – 用于 CosmosDBMongoVCoreSemanticCache 的数据库名称

  • 集合名称 (str) – 用于 CosmosDBMongoVCoreSemanticCache 的集合名称

  • num_lists (int) – 这是一个整数，它是逆文件（IVF）索引用于对向量数据进行分组所使用的聚类数量。我们建议对于一百万份文件以内的文档，将 numLists 设置为 documentCount/1000；对于一百万份文件以上的文档，设置为 sqrt(documentCount)。使用 numLists 值为 1 相当于进行暴力搜索，性能有限

  • dimensions (int) – 向量相似度的维度数量。支持的最大维度数是 2000

  • similarity (CosmosDBSimilarityType) –

    与 IVF 索引一起使用的相似度度量。

    可能选项有

    • CosmosDBSimilarityType.COS (余弦距离)，

    • CosmosDBSimilarityType.L2 (欧几里得距离)，以及

    • CosmosDBSimilarityType.IP (内积)。

  • kind (CosmosDBVectorSearchType) –

    要创建的向量索引的类型。可能的选项包括

  • m (int) – 每层的最大连接数（默认值是 16，最小值是 2，最大值是 100）。更高的 m 适合高维数据集以及/或高精度要求。

  • ef_construction (int) – 构建图时动态候选列表的大小（默认值是 64，最小值是 4，最大值是 1000）。更高的 ef_construction 会导致更好的索引质量和更高的精度，但也会增加构建索引所需的时间。ef_construction 至少要是 2 * m。

  • ef_search (int) – 搜索时动态候选列表的大小（默认值是 40）。较高的值会在速度的代价下提供更好的召回率。

  • score_threshold (Optional[float]) – 用作过滤向量搜索文档的最大分数。

  • application_name (str) – 客户端的应用程序名称，用于跟踪和记录

async aclear(**kwargs: Any) → None

可以接受额外关键字参数的异步清除缓存。

参数

kwargs (Any) –

返回类型

None

async alookup(prompt: str, llm_string: str) → Optional[Sequence[Generation]]

基于提示和 llm_string 的异步查找。

缓存实现应从prompt和llm_string的元组中生成一个键（例如，通过使用分隔符拼接它们）。

参数

  • prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是以非平凡的方式将提示序列化为语言模型的过程。

  • llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

返回值

在缓存不命中时返回None。在缓存命中时，返回缓存的值。缓存的值是一个包含生成对象（或其子类）的列表。

返回类型

Optional[Sequence[Generation]]

async aupdate(prompt: str, llm_string: str, return_val: Sequence[Generation]) → None

基于提示和 llm_string 的异步更新缓存。

提示和llm_string用于生成缓存键。该键应与查找方法的键匹配。

参数

  • prompt (str) – 提示的字符串表示。在聊天模型的情况下，提示是以非平凡的方式将提示序列化为语言模型的过程。

  • llm_string (str) – LLM配置的字符串表示。这用于捕获LLM的调用参数（例如，模型名称、温度、停止令牌、最大令牌等）。这些调用参数被序列化为字符串表示。

  • return_val (序列[生成]) – 待缓存的值。该值是生成列表（或其子类）。

返回类型

None

clear(**kwargs: Any) → None[来源]

清除特定 llm_string 的语义缓存。

参数

kwargs (Any) –

返回类型

None

lookup(prompt: str, llm_string: str) → Optional[序列[生成]][来源]

根据提示和llm_string进行查找。

参数

  • prompt (str) –

  • llm_string (str) –

返回类型

Optional[Sequence[Generation]]

update(prompt: str, llm_string: str, return_val: 序列[生成]) → None[来源]

根据提示和llm_string更新缓存。

参数

  • prompt (str) –

  • llm_string (str) –

  • return_val (序列[生成]) –

返回类型

None

使用 AzureCosmosDBSemanticCache 的示例