langchain_community.vectorstores.astradb.AstraDB

class langchain_community.vectorstores.astradb.AstraDB(*, embedding: Embeddings, collection_name: str, token: Optional[str] = None, api_endpoint: Optional[str] = None, astra_db_client: Optional[LibAstraDB] = None, async_astra_db_client: Optional[AsyncAstraDB] = None, namespace: Optional[str] = None, metric: Optional[str] = None, batch_size: Optional[int] = None, bulk_insert_batch_concurrency: Optional[int] = None, bulk_insert_overwrite_concurrency: Optional[int] = None, bulk_delete_concurrency: Optional[int] = None, setup_mode: SetupMode = SetupMode.SYNC, pre_delete_collection: bool = False)[source]

Deprecated since version 0.0.21: 请使用 langchain_astradb.AstraDBVectorStore 代替。

DataStax Astra DB 向量存储工作负载的包装器。

有关快速入门和详细信息,请访问 https://docs.datastax.com/en/astra/astra-db-vector/

示例

from langchain_community.vectorstores import AstraDB
from langchain_openai.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = AstraDB(
    embedding=embeddings,
    collection_name="my_store",
    token="AstraCS:...",
    api_endpoint="https://<DB-ID>-<REGION>.apps.astra.datastax.com"
)

vectorstore.add_texts(["Giraffes", "All good here"])
results = vectorstore.similarity_search("Everything's ok", k=1)
参数
  • embedding (Embeddings) – 要使用的嵌入函数。

  • collection_name (str) – 要创建/使用的 Astra DB 集合的名称。

  • token (Optional[str]) – 用于 Astra DB 使用的 API 令牌。

  • api_endpoint (Optional[str]) – API 端点的完整 URL,例如 https://<DB-ID>-us-east1.apps.astra.datastax.com

  • astra_db_client (Optional[LibAstraDB]) – token+api_endpoint 的替代方案,您可以传递已创建的 ‘astrapy.db.AstraDB’ 实例。

  • async_astra_db_client (Optional[AsyncAstraDB]) – token+api_endpoint 的替代方案,您可以传递已创建的 ‘astrapy.db.AsyncAstraDB’ 实例。

  • namespace (Optional[str]) – 在其中创建集合的命名空间(又名键空间)。默认为数据库的“默认命名空间”。

  • metric (Optional[str]) – 从 Astra DB 中可用的相似性函数中选择使用的函数。 如果省略,将使用 Astra DB API 的默认值(即“cosine” - 但出于性能原因,如果嵌入已归一化为 1,建议使用“dot_product”)。

  • batch_size (Optional[int]) – 批量插入的批次大小。

  • bulk_insert_batch_concurrency (Optional[int]) – 并发插入批次的线程或协程数。

  • bulk_insert_overwrite_concurrency (Optional[int]) – 批次中用于插入预先存在的条目的线程或协程数。

  • bulk_delete_concurrency (Optional[int]) – 线程数(用于并发删除多行)。

  • pre_delete_collection (bool) – 是否在创建集合之前删除集合。 如果为 False 且集合已存在,则将按原样使用该集合。

  • setup_mode (SetupMode) –

注意

对于同步 add_texts() 中的并发,根据经验,在典型的客户端机器上,建议保持 quantity bulk_insert_batch_concurrency * bulk_insert_overwrite_concurrency 远低于 1000,以避免耗尽客户端多线程/网络资源。硬编码的默认值在某种程度上是保守的,以满足大多数机器的规格,但一个明智的测试选择可能是

  • bulk_insert_batch_concurrency = 80

  • bulk_insert_overwrite_concurrency = 10

这里需要进行一些实验才能确定最佳结果,具体取决于机器/网络规格和预期工作负载(特别是,写入是现有 ID 更新的频率)。请记住,您可以将并发设置传递给 add_texts()add_documents() 的各个调用。

属性

embeddings

如果可用,访问查询嵌入对象。

方法

__init__(*, embedding, collection_name[, ...])

DataStax Astra DB 向量存储工作负载的包装器。

aadd_documents(documents, **kwargs)

异步运行更多文档通过嵌入并添加到向量存储。

aadd_texts(texts[, metadatas, ids, ...])

运行文本通过嵌入并将它们添加到向量存储。

aclear()

清空集合的所有存储条目。

add_documents(documents, **kwargs)

在向量存储中添加或更新文档。

add_texts(texts[, metadatas, ids, ...])

运行文本通过嵌入并将它们添加到向量存储。

adelete([ids, concurrency])

按向量 ID 删除。

adelete_by_document_id(document_id)

从存储中删除单个文档,给定其文档 ID。

adelete_collection()

从数据库中完全删除集合(与 aclear() 相对,后者仅清空集合)。

afrom_documents(documents, embedding, **kwargs)

异步从文档和嵌入初始化 VectorStore。

afrom_texts(texts, embedding[, metadatas, ids])

从原始文本创建 Astra DB 向量存储。

aget_by_ids(ids, /)

异步按 ID 获取文档。

amax_marginal_relevance_search(query[, k, ...])

返回使用最大边际相关性选择的文档。

amax_marginal_relevance_search_by_vector(...)

返回使用最大边际相关性选择的文档。

as_retriever(**kwargs)

返回从此 VectorStore 初始化 VectorStoreRetriever。

asearch(query, search_type, **kwargs)

异步返回与使用指定搜索类型查询最相似的文档。

asimilarity_search(query[, k, filter])

返回与查询最相似的文档。

asimilarity_search_by_vector(embedding[, k, ...])

返回与嵌入向量最相似的文档。

asimilarity_search_with_relevance_scores(query)

异步返回范围 [0, 1] 内的文档和相关性评分。

asimilarity_search_with_score(query[, k, filter])

返回与查询最相似的文档,并附带评分。

asimilarity_search_with_score_by_vector(...)

返回与嵌入向量最相似的文档,并附带评分。

asimilarity_search_with_score_id(query[, k, ...])

返回与查询最相似的文档,并附带评分和 ID。

asimilarity_search_with_score_id_by_vector(...)

返回与嵌入向量最相似的文档,并附带评分和 ID。

astreaming_upsert(items, /, batch_size, **kwargs)

aupsert(items, /, **kwargs)

clear()

清空集合的所有存储条目。

delete([ids, concurrency])

按向量 ID 删除。

delete_by_document_id(document_id)

从存储中删除单个文档,给定其文档 ID。

delete_collection()

从数据库中完全删除集合(与 clear() 相对,后者仅清空集合)。

from_documents(documents, embedding, **kwargs)

从文档列表创建 Astra DB 向量存储。

from_texts(texts, embedding[, metadatas, ids])

从原始文本创建 Astra DB 向量存储。

get_by_ids(ids, /)

按 ID 获取文档。

max_marginal_relevance_search(query[, k, ...])

返回使用最大边际相关性选择的文档。

max_marginal_relevance_search_by_vector(...)

返回使用最大边际相关性选择的文档。

search(query, search_type, **kwargs)

返回与使用指定搜索类型查询最相似的文档。

similarity_search(query[, k, filter])

返回与查询最相似的文档。

similarity_search_by_vector(embedding[, k, ...])

返回与嵌入向量最相似的文档。

similarity_search_with_relevance_scores(query)

返回范围 [0, 1] 内的文档和相关性评分。

similarity_search_with_score(query[, k, filter])

返回与查询最相似的文档,并附带评分。

similarity_search_with_score_by_vector(embedding)

返回与嵌入向量最相似的文档,并附带评分。

similarity_search_with_score_id(query[, k, ...])

返回与查询最相似的文档,并附带评分和 ID。

similarity_search_with_score_id_by_vector(...)

返回与嵌入向量最相似的文档,并附带评分和 ID。

streaming_upsert(items, /, batch_size, **kwargs)

upsert(items, /, **kwargs)

__init__(*, embedding: Embeddings, collection_name: str, token: Optional[str] = None, api_endpoint: Optional[str] = None, astra_db_client: Optional[LibAstraDB] = None, async_astra_db_client: Optional[AsyncAstraDB] = None, namespace: Optional[str] = None, metric: Optional[str] = None, batch_size: Optional[int] = None, bulk_insert_batch_concurrency: Optional[int] = None, bulk_insert_overwrite_concurrency: Optional[int] = None, bulk_delete_concurrency: Optional[int] = None, setup_mode: SetupMode = SetupMode.SYNC, pre_delete_collection: bool = False) None[source]

DataStax Astra DB 向量存储工作负载的包装器。

有关快速入门和详细信息,请访问 https://docs.datastax.com/en/astra/astra-db-vector/

示例

from langchain_community.vectorstores import AstraDB
from langchain_openai.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = AstraDB(
    embedding=embeddings,
    collection_name="my_store",
    token="AstraCS:...",
    api_endpoint="https://<DB-ID>-<REGION>.apps.astra.datastax.com"
)

vectorstore.add_texts(["Giraffes", "All good here"])
results = vectorstore.similarity_search("Everything's ok", k=1)
参数
  • embedding (Embeddings) – 要使用的嵌入函数。

  • collection_name (str) – 要创建/使用的 Astra DB 集合的名称。

  • token (Optional[str]) – 用于 Astra DB 使用的 API 令牌。

  • api_endpoint (Optional[str]) – API 端点的完整 URL,例如 https://<DB-ID>-us-east1.apps.astra.datastax.com

  • astra_db_client (Optional[LibAstraDB]) – token+api_endpoint 的替代方案,您可以传递已创建的 ‘astrapy.db.AstraDB’ 实例。

  • async_astra_db_client (Optional[AsyncAstraDB]) – token+api_endpoint 的替代方案,您可以传递已创建的 ‘astrapy.db.AsyncAstraDB’ 实例。

  • namespace (Optional[str]) – 在其中创建集合的命名空间(又名键空间)。默认为数据库的“默认命名空间”。

  • metric (Optional[str]) – 从 Astra DB 中可用的相似性函数中选择使用的函数。 如果省略,将使用 Astra DB API 的默认值(即“cosine” - 但出于性能原因,如果嵌入已归一化为 1,建议使用“dot_product”)。

  • batch_size (Optional[int]) – 批量插入的批次大小。

  • bulk_insert_batch_concurrency (Optional[int]) – 并发插入批次的线程或协程数。

  • bulk_insert_overwrite_concurrency (Optional[int]) – 批次中用于插入预先存在的条目的线程或协程数。

  • bulk_delete_concurrency (Optional[int]) – 线程数(用于并发删除多行)。

  • pre_delete_collection (bool) – 是否在创建集合之前删除集合。 如果为 False 且集合已存在,则将按原样使用该集合。

  • setup_mode (SetupMode) –

返回类型

None

注意

对于同步 add_texts() 中的并发,根据经验,在典型的客户端机器上,建议保持 quantity bulk_insert_batch_concurrency * bulk_insert_overwrite_concurrency 远低于 1000,以避免耗尽客户端多线程/网络资源。硬编码的默认值在某种程度上是保守的,以满足大多数机器的规格,但一个明智的测试选择可能是

  • bulk_insert_batch_concurrency = 80

  • bulk_insert_overwrite_concurrency = 10

这里需要进行一些实验才能确定最佳结果,具体取决于机器/网络规格和预期工作负载(特别是,写入是现有 ID 更新的频率)。请记住,您可以将并发设置传递给 add_texts()add_documents() 的各个调用。

async aadd_documents(documents: List[Document], **kwargs: Any) List[str]

异步运行更多文档通过嵌入并添加到向量存储。

参数
  • documents (List[Document]) – 要添加到向量存储的文档列表。

  • kwargs (Any) – 额外的关键词参数。

返回:

添加文本的 ID 列表。

Raises:

ValueError – 如果 ID 的数量与文档的数量不匹配,则引发此错误。

返回类型

List[str]

async aadd_texts(texts: Iterable[str], metadatas: Optional[List[dict]] = None, ids: Optional[List[str]] = None, *, batch_size: Optional[int] = None, batch_concurrency: Optional[int] = None, overwrite_concurrency: Optional[int] = None, **kwargs: Any) List[str][source]

运行文本通过嵌入并将它们添加到向量存储。

如果传递显式 ID,则已在存储中的条目将被替换。

参数
  • texts (Iterable[str]) – 要添加到向量存储的文本列表。

  • metadatas (Optional[List[dict]]) – 元数据的可选列表。

  • ids (Optional[List[str]]) – ID 的可选列表。

  • batch_size (Optional[int]) – 每次 API 调用中的文档数量。查看底层 Astra DB HTTP API 规范以获取最大值(在编写本文时为 20)。如果未提供,则默认为实例级设置。

  • batch_concurrency (Optional[int]) – 并发处理插入批次的线程数。如果未提供,则默认为实例级设置。

  • overwrite_concurrency (Optional[int]) – 在每个批次中处理预先存在的文档(需要单独的 API 调用)的线程数。如果未提供,则默认为实例级设置。

  • kwargs (Any) –

返回类型

List[str]

注意

元数据字典中允许的字段名称存在约束,这些约束来自底层的 Astra DB API。例如,$(美元符号)不能在字典键中使用。 有关详细信息,请参阅此文档: https://docs.datastax.com/en/astra/astra-db-vector/api-reference/data-api.html

返回:

添加文本的 ID 列表。

参数
  • texts (Iterable[str]) –

  • metadatas (Optional[List[dict]]) –

  • ids (Optional[List[str]]) –

  • batch_size (Optional[int]) –

  • batch_concurrency (Optional[int]) –

  • overwrite_concurrency (Optional[int]) –

  • kwargs (Any) –

返回类型

List[str]

async aclear() None[source]

清空集合的所有存储条目。

返回类型

None

add_documents(documents: List[Document], **kwargs: Any) List[str]

在向量存储中添加或更新文档。

参数
  • documents (List[Document]) – 要添加到向量存储的文档列表。

  • kwargs (Any) – 额外的关键词参数。如果 kwargs 包含 ids 并且 documents 包含 ids,则 kwargs 中的 ids 将优先。

返回:

添加文本的 ID 列表。

Raises:

ValueError – 如果 id 的数量与文档的数量不匹配,则引发此错误。

返回类型

List[str]

add_texts(texts: Iterable[str], metadatas: Optional[List[dict]] = None, ids: Optional[List[str]] = None, *, batch_size: Optional[int] = None, batch_concurrency: Optional[int] = None, overwrite_concurrency: Optional[int] = None, **kwargs: Any) List[str][source]

运行文本通过嵌入并将它们添加到向量存储。

如果传递显式 ID,则已在存储中的条目将被替换。

参数
  • texts (Iterable[str]) – 要添加到向量存储的文本列表。

  • metadatas (Optional[List[dict]]) – 元数据的可选列表。

  • ids (Optional[List[str]]) – ID 的可选列表。

  • batch_size (Optional[int]) – 每次 API 调用中的文档数量。查看底层 Astra DB HTTP API 规范以获取最大值(在编写本文时为 20)。如果未提供,则默认为实例级设置。

  • batch_concurrency (Optional[int]) – 并发处理插入批次的线程数。如果未提供,则默认为实例级设置。

  • overwrite_concurrency (Optional[int]) – 在每个批次中处理预先存在的文档(需要单独的 API 调用)的线程数。如果未提供,则默认为实例级设置。

  • kwargs (Any) –

返回类型

List[str]

注意

元数据字典中允许的字段名称存在约束,这些约束来自底层的 Astra DB API。例如,$(美元符号)不能在字典键中使用。 有关详细信息,请参阅此文档: https://docs.datastax.com/en/astra/astra-db-vector/api-reference/data-api.html

返回:

添加文本的 ID 列表。

参数
  • texts (Iterable[str]) –

  • metadatas (Optional[List[dict]]) –

  • ids (Optional[List[str]]) –

  • batch_size (Optional[int]) –

  • batch_concurrency (Optional[int]) –

  • overwrite_concurrency (Optional[int]) –

  • kwargs (Any) –

返回类型

List[str]

async adelete(ids: Optional[List[str]] = None, concurrency: Optional[int] = None, **kwargs: Any) Optional[bool][source]

按向量 ID 删除。

参数
  • ids (Optional[List[str]]) – 要删除的 ID 列表。

  • concurrency (Optional[int]) – 单文档删除请求的最大并发数。如果未提供,则默认为实例级设置。

  • **kwargs (Any) – 子类可能使用的其他关键词参数。

返回:

如果删除成功,则返回 True,否则返回 False。

返回类型

Optional[bool]

async adelete_by_document_id(document_id: str) bool[source]

从存储中删除单个文档,给定其文档 ID。

参数

document_id (str) – 文档 ID

返回类型

bool

返回:

如果文档确实已被删除,则返回 True;如果未找到 ID,则返回 False。

async adelete_collection() None[source]

从数据库中完全删除集合(与 aclear() 相比,后者仅清空集合)。存储的数据将丢失且无法恢复,资源将被释放。谨慎使用。

返回类型

None

async classmethod afrom_documents(documents: List[Document], embedding: Embeddings, **kwargs: Any) VST

异步从文档和嵌入初始化 VectorStore。

参数
  • documents (List[Document]) – 要添加到向量存储的文档列表。

  • embedding (Embeddings) – 要使用的嵌入函数。

  • kwargs (Any) – 额外的关键词参数。

返回:

从文档和嵌入初始化的 VectorStore。

返回类型

VectorStore

async classmethod afrom_texts(texts: List[str], embedding: Embeddings, metadatas: Optional[List[dict]] = None, ids: Optional[List[str]] = None, **kwargs: Any) ADBVST[source]

从原始文本创建 Astra DB 向量存储。

参数
  • texts (List[str]) – 要插入的文本。

  • embedding (Embeddings) – 要在存储中使用的嵌入函数。

  • metadatas (Optional[List[dict]]) – 文本的元数据字典。

  • ids (Optional[List[str]]) – 要与文本关联的 ID。

  • **kwargs (Any) – 您可以将任何您想要传递给 add_texts() 和/或 ‘AstraDB’ 构造函数的参数(有关详细信息,请参阅这些方法)。这些参数将按原样路由到各自的方法。

返回:

一个 AstraDb 向量存储。

返回类型

ADBVST

async aget_by_ids(ids: Sequence[str], /) List[Document]

异步按 ID 获取文档。

返回的文档应将 ID 字段设置为向量存储中文档的 ID。

如果某些 ID 未找到或存在重复的 ID,则返回的文档可能少于请求的数量。

用户不应假设返回文档的顺序与输入 ID 的顺序匹配。相反,用户应依赖返回文档的 ID 字段。

如果某些 ID 没有找到文档,则此方法不应引发异常。

参数

ids (Sequence[str]) – 要检索的 ID 列表。

返回:

文档列表。

返回类型

List[Document]

0.2.11 版本新增。

返回使用最大边际相关性选择的文档。

最大边际相关性优化了与查询的相似性以及所选文档之间的多样性。

参数
  • query (str) – 用于查找相似文档的查询。

  • k (int) – 要返回的文档数量。

  • fetch_k (int) – 要获取以传递给 MMR 算法的文档数量。

  • lambda_mult (float) – 介于 0 和 1 之间的数字,它确定结果之间多样性的程度,其中 0 对应于最大多样性,1 对应于最小多样性。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

  • kwargs (Any) –

返回:

通过最大边际相关性选择的文档列表。

返回类型

List[Document]

async amax_marginal_relevance_search_by_vector(embedding: List[float], k: int = 4, fetch_k: int = 20, lambda_mult: float = 0.5, filter: Optional[Dict[str, Any]] = None, **kwargs: Any) List[Document][source]

返回使用最大边际相关性选择的文档。

最大边际相关性优化了与查询的相似性以及所选文档之间的多样性。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。

  • fetch_k (int) – 要获取以传递给 MMR 算法的文档数量。

  • lambda_mult (float) – 介于 0 和 1 之间的数字,它确定结果之间多样性的程度,其中 0 对应于最大多样性,1 对应于最小多样性。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

  • kwargs (Any) –

返回:

通过最大边际相关性选择的文档列表。

返回类型

List[Document]

as_retriever(**kwargs: Any) VectorStoreRetriever

返回从此 VectorStore 初始化 VectorStoreRetriever。

参数

**kwargs (Any) –

传递给搜索函数的关键词参数。可以包括:search_type (Optional[str]): 定义检索器应执行的搜索类型。

可以是 “similarity”(默认)、“mmr” 或 “similarity_score_threshold”。

search_kwargs (Optional[Dict]): 传递给搜索函数的关键词参数。
可以包括如下内容:

k:要返回的文档数量(默认值:4) score_threshold:相似度分数阈值的最小相关性阈值

用于 similarity_score_threshold

fetch_k:要传递给 MMR 算法的文档数量

(默认值:20)

lambda_mult:MMR 返回结果的多样性;

1 表示最小多样性,0 表示最大多样性。(默认值:0.5)

filter:按文档元数据过滤

返回:

VectorStore 的检索器类。

返回类型

VectorStoreRetriever

示例

# Retrieve more documents with higher diversity
# Useful if your dataset has many similar documents
docsearch.as_retriever(
    search_type="mmr",
    search_kwargs={'k': 6, 'lambda_mult': 0.25}
)

# Fetch more documents for the MMR algorithm to consider
# But only return the top 5
docsearch.as_retriever(
    search_type="mmr",
    search_kwargs={'k': 5, 'fetch_k': 50}
)

# Only retrieve documents that have a relevance score
# Above a certain threshold
docsearch.as_retriever(
    search_type="similarity_score_threshold",
    search_kwargs={'score_threshold': 0.8}
)

# Only get the single most similar document from the dataset
docsearch.as_retriever(search_kwargs={'k': 1})

# Use a filter to only retrieve documents from a specific paper
docsearch.as_retriever(
    search_kwargs={'filter': {'paper_title':'GPT-4 Technical Report'}}
)
async asearch(query: str, search_type: str, **kwargs: Any) List[Document]

异步返回与使用指定搜索类型查询最相似的文档。

参数
  • query (str) – 输入文本。

  • search_type (str) – 要执行的搜索类型。可以是 “similarity”、“mmr” 或 “similarity_score_threshold”。

  • **kwargs (Any) – 传递给搜索方法的参数。

返回:

与查询最相似的文档列表。

Raises:

ValueError – 如果 search_type 不是 “similarity”、“mmr” 或 “similarity_score_threshold” 之一,则引发此错误。

返回类型

List[Document]

返回与查询最相似的文档。

参数
  • query (str) – 用于查找相似文档的查询。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

  • kwargs (Any) –

返回:

与查询最相似的文档列表。

返回类型

List[Document]

async asimilarity_search_by_vector(embedding: List[float], k: int = 4, filter: Optional[Dict[str, Any]] = None, **kwargs: Any) List[Document][source]

返回与嵌入向量最相似的文档。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

  • kwargs (Any) –

返回:

与查询向量最相似的文档列表。

返回类型

List[Document]

async asimilarity_search_with_relevance_scores(query: str, k: int = 4, **kwargs: Any) List[Tuple[Document, float]]

异步返回范围 [0, 1] 内的文档和相关性评分。

0 表示不相似,1 表示最相似。

参数
  • query (str) – 输入文本。

  • k (int) – 要返回的文档数量。默认为 4。

  • **kwargs (Any) –

    要传递给相似度搜索的 kwargs。应包括:score_threshold:可选,一个介于 0 到 1 之间的浮点值,用于

    过滤检索到的文档结果集

返回:

(文档, 相似度分数) 元组的列表

返回类型

List[Tuple[Document, float]]

async asimilarity_search_with_score(query: str, k: int = 4, filter: Optional[Dict[str, Any]] = None) List[Tuple[Document, float]][source]

返回与查询最相似的文档,并附带评分。

参数
  • query (str) – 用于查找相似文档的查询。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

返回:

与查询向量最相似的 (文档, 分数) 列表。

返回类型

List[Tuple[Document, float]]

async asimilarity_search_with_score_by_vector(embedding: List[float], k: int = 4, filter: Optional[Dict[str, Any]] = None) List[Tuple[Document, float]][source]

返回与嵌入向量最相似的文档,并附带评分。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

返回:

与查询向量最相似的 (文档, 分数) 列表。

返回类型

List[Tuple[Document, float]]

async asimilarity_search_with_score_id(query: str, k: int = 4, filter: Optional[Dict[str, Any]] = None) List[Tuple[Document, float, str]][source]

返回与查询最相似的文档,并附带评分和 ID。

参数
  • query (str) – 用于查找相似文档的查询。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

返回:

与查询最相似的 (文档, 分数, id) 列表。

返回类型

List[Tuple[Document, float, str]]

async asimilarity_search_with_score_id_by_vector(embedding: List[float], k: int = 4, filter: Optional[Dict[str, Any]] = None) List[Tuple[Document, float, str]][source]

返回与嵌入向量最相似的文档,并附带评分和 ID。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

返回:

与查询向量最相似的 (文档, 分数, id) 列表。

返回类型

List[Tuple[Document, float, str]]

astreaming_upsert(items: AsyncIterable[Document], /, batch_size: int, **kwargs: Any) AsyncIterator[UpsertResponse]

测试版

在 0.2.11 版本中添加。API 可能会发生变化。

以流式方式更新文档。streaming_upsert 的异步版本。

参数
  • items (AsyncIterable[Document]) – 要添加到向量存储的可迭代文档。

  • batch_size (int) – 每次批量更新的大小。

  • kwargs (Any) – 额外的关键字参数。kwargs 应该只包含所有文档通用的参数。(例如,索引超时,重试策略等)kwargs 不应包含 id 以避免语义模糊。ID 应该作为 Document 对象的一部分提供。

Yields

UpsertResponse – 响应对象,其中包含成功添加到或更新到向量存储中的 ID 列表,以及未能添加或更新的 ID 列表。

返回类型

AsyncIterator[UpsertResponse]

0.2.11 版本新增。

async aupsert(items: Sequence[Document], /, **kwargs: Any) UpsertResponse

测试版

在 0.2.11 版本中添加。API 可能会发生变化。

在向量存储中添加或更新文档。upsert 的异步版本。

如果提供了 Document 对象的 ID 字段,upsert 功能应使用它。如果未提供 ID,upsert 方法可以自由地为文档生成一个 ID。

当指定了 ID 且文档已存在于向量存储中时,upsert 方法应使用新数据更新文档。如果文档不存在,upsert 方法应将文档添加到向量存储中。

参数
  • items (Sequence[Document]) – 要添加到向量存储的文档序列。

  • kwargs (Any) – 额外的关键词参数。

返回:

一个响应对象,其中包含成功添加到或更新到向量存储中的 ID 列表,以及未能添加或更新的 ID 列表。

返回类型

UpsertResponse

0.2.11 版本新增。

clear() None[source]

清空集合的所有存储条目。

返回类型

None

delete(ids: Optional[List[str]] = None, concurrency: Optional[int] = None, **kwargs: Any) Optional[bool][source]

按向量 ID 删除。

参数
  • ids (Optional[List[str]]) – 要删除的 ID 列表。

  • concurrency (Optional[int]) – 发出单文档删除请求的最大线程数。默认为实例级设置。

  • kwargs (Any) –

返回:

如果删除成功,则返回 True,否则返回 False。

返回类型

Optional[bool]

delete_by_document_id(document_id: str) bool[source]

从存储中删除单个文档,给定其文档 ID。

参数

document_id (str) – 文档 ID

返回类型

bool

返回:

如果文档确实已被删除,则返回 True;如果未找到 ID,则返回 False。

delete_collection() None[source]

从数据库中完全删除集合(与 clear() 不同,后者仅清空集合)。存储的数据将丢失且无法恢复,资源将被释放。请谨慎使用。

返回类型

None

classmethod from_documents(documents: List[Document], embedding: Embeddings, **kwargs: Any) ADBVST[source]

从文档列表创建 Astra DB 向量存储。

实用方法,它会延迟到 'from_texts'(请参阅该方法)。

参数:请参阅 'from_texts',但此处您必须提供 'documents'

来代替 'texts' 和 'metadatas'。

返回:

一个 AstraDB 向量存储。

参数
返回类型

ADBVST

classmethod from_texts(texts: List[str], embedding: Embeddings, metadatas: Optional[List[dict]] = None, ids: Optional[List[str]] = None, **kwargs: Any) ADBVST[source]

从原始文本创建 Astra DB 向量存储。

参数
  • texts (List[str]) – 要插入的文本。

  • embedding (Embeddings) – 要在存储中使用的嵌入函数。

  • metadatas (Optional[List[dict]]) – 文本的元数据字典。

  • ids (Optional[List[str]]) – 要与文本关联的 ID。

  • **kwargs (Any) – 您可以将任何您想要传递给 add_texts() 和/或 ‘AstraDB’ 构造函数的参数(有关详细信息,请参阅这些方法)。这些参数将按原样路由到各自的方法。

返回:

一个 AstraDb 向量存储。

返回类型

ADBVST

get_by_ids(ids: Sequence[str], /) List[Document]

按 ID 获取文档。

返回的文档应将 ID 字段设置为向量存储中文档的 ID。

如果某些 ID 未找到或存在重复的 ID,则返回的文档可能少于请求的数量。

用户不应假设返回文档的顺序与输入 ID 的顺序匹配。相反,用户应依赖返回文档的 ID 字段。

如果某些 ID 没有找到文档,则此方法不应引发异常。

参数

ids (Sequence[str]) – 要检索的 ID 列表。

返回:

文档列表。

返回类型

List[Document]

0.2.11 版本新增。

返回使用最大边际相关性选择的文档。

最大边际相关性优化了与查询的相似性以及所选文档之间的多样性。

参数
  • query (str) – 用于查找相似文档的查询。

  • k (int) – 要返回的文档数量。

  • fetch_k (int) – 要获取以传递给 MMR 算法的文档数量。

  • lambda_mult (float) – 介于 0 和 1 之间的数字,它确定结果之间多样性的程度,其中 0 对应于最大多样性,1 对应于最小多样性。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

  • kwargs (Any) –

返回:

通过最大边际相关性选择的文档列表。

返回类型

List[Document]

max_marginal_relevance_search_by_vector(embedding: List[float], k: int = 4, fetch_k: int = 20, lambda_mult: float = 0.5, filter: Optional[Dict[str, Any]] = None, **kwargs: Any) List[Document][source]

返回使用最大边际相关性选择的文档。

最大边际相关性优化了与查询的相似性以及所选文档之间的多样性。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。

  • fetch_k (int) – 要获取以传递给 MMR 算法的文档数量。

  • lambda_mult (float) – 介于 0 和 1 之间的数字,它确定结果之间多样性的程度,其中 0 对应于最大多样性,1 对应于最小多样性。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

  • kwargs (Any) –

返回:

通过最大边际相关性选择的文档列表。

返回类型

List[Document]

search(query: str, search_type: str, **kwargs: Any) List[Document]

返回与使用指定搜索类型查询最相似的文档。

参数
  • query (str) – 输入文本

  • search_type (str) – 要执行的搜索类型。可以是 “similarity”、“mmr” 或 “similarity_score_threshold”。

  • **kwargs (Any) – 传递给搜索方法的参数。

返回:

与查询最相似的文档列表。

Raises:

ValueError – 如果 search_type 不是 “similarity”、“mmr” 或 “similarity_score_threshold” 之一,则引发此错误。

返回类型

List[Document]

返回与查询最相似的文档。

参数
  • query (str) – 用于查找相似文档的查询。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

  • kwargs (Any) –

返回:

与查询最相似的文档列表。

返回类型

List[Document]

similarity_search_by_vector(embedding: List[float], k: int = 4, filter: Optional[Dict[str, Any]] = None, **kwargs: Any) List[Document][source]

返回与嵌入向量最相似的文档。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

  • kwargs (Any) –

返回:

与查询向量最相似的文档列表。

返回类型

List[Document]

similarity_search_with_relevance_scores(query: str, k: int = 4, **kwargs: Any) List[Tuple[Document, float]]

返回范围 [0, 1] 内的文档和相关性评分。

0 表示不相似,1 表示最相似。

参数
  • query (str) – 输入文本。

  • k (int) – 要返回的文档数量。默认为 4。

  • **kwargs (Any) –

    要传递给相似度搜索的 kwargs。应包括:score_threshold:可选,一个介于 0 到 1 之间的浮点值,用于

    过滤检索到的文档结果集。

返回:

(文档, 相似度分数) 元组的列表。

返回类型

List[Tuple[Document, float]]

similarity_search_with_score(query: str, k: int = 4, filter: Optional[Dict[str, Any]] = None) List[Tuple[Document, float]][source]

返回与查询最相似的文档,并附带评分。

参数
  • query (str) – 用于查找相似文档的查询。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

返回:

与查询向量最相似的 (文档, 分数) 列表。

返回类型

List[Tuple[Document, float]]

similarity_search_with_score_by_vector(embedding: List[float], k: int = 4, filter: Optional[Dict[str, Any]] = None) List[Tuple[Document, float]][source]

返回与嵌入向量最相似的文档,并附带评分。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

返回:

与查询向量最相似的 (文档, 分数) 列表。

返回类型

List[Tuple[Document, float]]

similarity_search_with_score_id(query: str, k: int = 4, filter: Optional[Dict[str, Any]] = None) List[Tuple[Document, float, str]][source]

返回与查询最相似的文档,并附带评分和 ID。

参数
  • query (str) – 用于查找相似文档的查询。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

返回:

与查询最相似的 (文档, 分数, id) 列表。

返回类型

List[Tuple[Document, float, str]]

similarity_search_with_score_id_by_vector(embedding: List[float], k: int = 4, filter: Optional[Dict[str, Any]] = None) List[Tuple[Document, float, str]][source]

返回与嵌入向量最相似的文档,并附带评分和 ID。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。默认为 4。

  • filter (Optional[Dict[str, Any]]) – 要应用的元数据过滤器。

返回:

与查询向量最相似的 (文档, 分数, id) 列表。

返回类型

List[Tuple[Document, float, str]]

streaming_upsert(items: Iterable[Document], /, batch_size: int, **kwargs: Any) Iterator[UpsertResponse]

测试版

在 0.2.11 版本中添加。API 可能会发生变化。

以流式方式更新文档。

参数
  • items (Iterable[Document]) – 要添加到向量存储的可迭代文档。

  • batch_size (int) – 每次批量更新的大小。

  • kwargs (Any) – 额外的关键字参数。 kwargs 应仅包含所有文档通用的参数。(例如,索引超时、重试策略等)kwargs 不应包含 id 以避免语义模糊。 相反,ID 应作为 Document 对象的一部分提供。

Yields

UpsertResponse – 响应对象,其中包含成功添加到或更新到向量存储中的 ID 列表,以及未能添加或更新的 ID 列表。

返回类型

Iterator[UpsertResponse]

0.2.11 版本新增。

upsert(items: Sequence[Document], /, **kwargs: Any) UpsertResponse

测试版

在 0.2.11 版本中添加。API 可能会发生变化。

在向量存储中添加或更新文档。

如果提供了 Document 对象的 ID 字段,upsert 功能应使用它。如果未提供 ID,upsert 方法可以自由地为文档生成一个 ID。

当指定了 ID 且文档已存在于向量存储中时,upsert 方法应使用新数据更新文档。如果文档不存在,upsert 方法应将文档添加到向量存储中。

参数
  • items (Sequence[Document]) – 要添加到向量存储的文档序列。

  • kwargs (Any) – 额外的关键词参数。

返回:

一个响应对象,其中包含成功添加到或更新到向量存储中的 ID 列表,以及未能添加或更新的 ID 列表。

返回类型

UpsertResponse

0.2.11 版本新增。

AstraDB 的使用示例