langchain_milvus.vectorstores.milvus.Milvus

class langchain_milvus.vectorstores.milvus.Milvus(embedding_function: Embeddings, collection_name: str = 'LangChainCollection', collection_description: str = '', collection_properties: Optional[dict[str, Any]] = None, connection_args: Optional[dict[str, Any]] = None, consistency_level: str = 'Session', index_params: Optional[dict] = None, search_params: Optional[dict] = None, drop_old: Optional[bool] = False, auto_id: bool = False, *, primary_field: str = 'pk', text_field: str = 'text', vector_field: str = 'vector', enable_dynamic_field: bool = False, metadata_field: Optional[str] = None, partition_key_field: Optional[str] = None, partition_names: Optional[list] = None, replica_number: int = 1, timeout: Optional[float] = None, num_shards: Optional[int] = None)[source]

Milvus 向量存储。

您需要安装 pymilvus 并运行 Milvus。

请参阅以下文档,了解如何运行 Milvus 实例: https://milvus.io/docs/install_standalone-docker.md

如果正在寻找托管的 Milvus,请查看以下文档: https://zilliz.com/cloud 并使用本项目中找到的 Zilliz 向量存储。

如果使用 L2/IP 指标,强烈建议您对数据进行归一化处理。

参数
  • embedding_function (Embeddings) – 用于嵌入文本的函数。

  • collection_name (str) – 要使用的 Milvus 集合。默认为 “LangChainCollection”。

  • collection_description (str) – 集合的描述。默认为 “”。

  • collection_properties (Optional[dict[str, any]]) – 集合属性。默认为 None。如果设置,将覆盖集合的现有属性。例如: {“collection.ttl.seconds”: 60}。

  • connection_args (Optional[dict[str, any]]) – 此类使用的连接参数以字典形式提供。

  • consistency_level (str) – 集合使用的一致性级别。默认为 “Session”。

  • index_params (Optional[dict]) – 要使用的索引参数。默认为 HNSW/AUTOINDEX,取决于服务。

  • search_params (Optional[dict]) – 要使用的搜索参数。默认为索引的默认值。

  • drop_old (Optional[bool]) – 是否删除当前集合。默认为 False。

  • auto_id (bool) – 是否为主键启用自动 ID。默认为 False。如果为 False,则需要提供文本 ID(小于 65535 字节的字符串)。如果为 True,Milvus 将生成唯一的整数作为主键。

  • primary_field (str) – 主键字段的名称。默认为 “pk”。

  • text_field (str) – 文本字段的名称。默认为 “text”。

  • vector_field (str) – 向量字段的名称。默认为 “vector”。

  • enable_dynamic_field (Optional[bool]) – 是否在 Milvus 中启用动态模式。默认为 False。有关动态模式的更多信息,请参阅 https://milvus.io/docs/enable-dynamic-field.md

  • metadata_field (str) – 元数据字段的名称。默认为 None。当指定 metadata_field 时,文档的元数据将存储为 json。此参数即将被弃用,因为它可以通过设置 `enable_dynamic_field`=True 来替代。

  • partition_key_field (Optional[str]) – 分区键字段的名称。默认为 None。有关分区键的更多信息,请参阅 https://milvus.io/docs/use-partition-key.md#Use-Partition-Key

  • partition_names (Optional[list]) – 特定分区名称的列表。默认为 None。有关分区的更多信息,请参阅 https://milvus.io/docs/manage-partitions.md#Manage-Partitions

  • replica_number (int) – 集合的副本数。默认为 1。有关副本的更多信息,请参阅 https://milvus.io/docs/replica.md#In-Memory-Replica

  • timeout (Optional[float]) – Milvus 操作的超时时间。默认为 None。以秒为单位的可选持续时间,允许 RPC 调用。如果未设置超时时间,客户端将一直等待,直到服务器响应或发生错误。

  • num_shards (Optional[int]) – 集合的分片数。默认为 None。有关分片的更多信息,请参阅 https://milvus.io/docs/glossary.md#Shard

此类使用的连接参数以字典形式提供,以下是一些选项

address (str): Milvus 的实际地址

实例。示例地址: “localhost:19530”

uri (str): Milvus 实例的 URI。示例 URI

Milvus Lite 的 “path/to/local/directory/milvus_demo.db”。 “http://randomwebsite:19530”, “tcp:foobarsite:19530”, “https://ok.s3.south.com:19530”。

host (str): Milvus 实例的主机。默认为 “localhost”,

如果仅提供端口,PyMilvus 将填写默认主机。

port (str/int): Milvus 实例的端口。默认为 19530,PyMilvus

如果仅提供主机,将填写默认端口。

user (str): 使用哪个用户连接到 Milvus 实例。如果提供了用户和

密码,我们将在每个 RPC 调用中添加相关标头。

password (str): 当提供用户时为必填项。与用户对应的

密码。

secure (bool): 默认为 false。如果设置为 true,将启用 tls。client_key_path (str): 如果使用 tls 双向身份验证,则需要

写入 client.key 路径。

client_pem_path (str): 如果使用 tls 双向身份验证,则需要

写入 client.pem 路径。

ca_pem_path (str): 如果使用 tls 双向身份验证,则需要写入

ca.pem 路径。

server_pem_path (str): 如果使用 tls 单向身份验证,则需要

写入 server.pem 路径。

server_name (str): 如果使用 tls,则需要写入通用名称。

示例


from langchain_milvus.vectorstores import Milvus from langchain_openai.embeddings import OpenAIEmbeddings

embedding = OpenAIEmbeddings() # 连接到本地主机上的 milvus 实例 milvus_store = Milvus(

embedding_function = Embeddings, collection_name = “LangChainCollection”, connection_args = {“uri”: “./milvus_demo.db”}, drop_old = True, auto_id = True

)

Raises

ValueError – 如果未安装 pymilvus python 包。

参数
  • embedding_function (Embeddings) –

  • collection_name (str) –

  • collection_description (str) –

  • collection_properties (Optional[dict[str, Any]]) –

  • connection_args (Optional[dict[str, Any]]) –

  • consistency_level (str) –

  • index_params (Optional[dict]) –

  • search_params (Optional[dict]) –

  • drop_old (Optional[bool]) –

  • auto_id (bool) –

  • primary_field (str) –

  • text_field (str) –

  • vector_field (str) –

  • enable_dynamic_field (bool) –

  • metadata_field (Optional[str]) –

  • partition_key_field (Optional[str]) –

  • partition_names (Optional[list]) –

  • replica_number (int) –

  • timeout (Optional[float]) –

  • num_shards (Optional[int]) –

初始化 Milvus 向量存储。

属性

embeddings

如果可用,访问查询嵌入对象。

方法

__init__(embedding_function[, ...])

初始化 Milvus 向量存储。

aadd_documents(documents, **kwargs)

通过嵌入运行更多文档并添加到向量存储。

aadd_texts(texts[, metadatas])

异步通过嵌入运行更多文本并添加到向量存储。

add_documents(documents, **kwargs)

通过嵌入运行更多文档并添加到向量存储。

add_texts(texts[, metadatas, timeout, ...])

将文本数据插入 Milvus。

adelete([ids])

异步按向量 ID 或其他条件删除。

afrom_documents(documents, embedding, **kwargs)

异步返回从文档和嵌入初始化的 VectorStore。

afrom_texts(texts, embedding[, metadatas])

异步返回从文本和嵌入初始化的 VectorStore。

aget_by_ids(ids, /)

异步按 ID 获取文档。

amax_marginal_relevance_search(query[, k, ...])

异步返回使用最大边际相关性选择的文档。

amax_marginal_relevance_search_by_vector(...)

异步返回使用最大边际相关性选择的文档。

as_retriever(**kwargs)

返回从此 VectorStore 初始化的 VectorStoreRetriever。

asearch(query, search_type, **kwargs)

异步返回与查询最相似的文档,使用指定的搜索类型。

asimilarity_search(query[, k])

异步返回与查询最相似的文档。

asimilarity_search_by_vector(embedding[, k])

异步返回与嵌入向量最相似的文档。

asimilarity_search_with_relevance_scores(query)

异步返回文档和 [0, 1] 范围内的相关性得分。

asimilarity_search_with_score(*args, **kwargs)

异步运行带距离的相似性搜索。

astreaming_upsert(items, /, batch_size, **kwargs)

aupsert(items, /, **kwargs)

delete([ids, expr])

按向量 ID 或布尔表达式删除。

from_documents(documents, embedding, **kwargs)

返回从文档和嵌入初始化的 VectorStore。

from_texts(texts, embedding[, metadatas, ...])

创建 Milvus 集合,使用 HNSW 索引并插入数据。

get_by_ids(ids, /)

按 ID 获取文档。

get_pks(expr, **kwargs)

使用表达式获取主键

max_marginal_relevance_search(query[, k, ...])

执行搜索并返回按 MMR 重新排序的结果。

max_marginal_relevance_search_by_vector(...)

执行搜索并返回按 MMR 重新排序的结果。

search(query, search_type, **kwargs)

返回与查询最相似的文档,使用指定的搜索类型。

similarity_search(query[, k, param, expr, ...])

对查询字符串执行相似性搜索。

similarity_search_by_vector(embedding[, k, ...])

对查询字符串执行相似性搜索。

similarity_search_with_relevance_scores(query)

返回文档和 [0, 1] 范围内的相关性得分。

similarity_search_with_score(query[, k, ...])

对查询字符串执行搜索并返回带得分的结果。

similarity_search_with_score_by_vector(embedding)

对嵌入执行搜索并返回带得分的结果。

streaming_upsert(items, /, batch_size, **kwargs)

upsert([ids, documents])

更新/插入文档到向量存储。

__init__(embedding_function: Embeddings, collection_name: str = 'LangChainCollection', collection_description: str = '', collection_properties: Optional[dict[str, Any]] = None, connection_args: Optional[dict[str, Any]] = None, consistency_level: str = 'Session', index_params: Optional[dict] = None, search_params: Optional[dict] = None, drop_old: Optional[bool] = False, auto_id: bool = False, *, primary_field: str = 'pk', text_field: str = 'text', vector_field: str = 'vector', enable_dynamic_field: bool = False, metadata_field: Optional[str] = None, partition_key_field: Optional[str] = None, partition_names: Optional[list] = None, replica_number: int = 1, timeout: Optional[float] = None, num_shards: Optional[int] = None)[source]

初始化 Milvus 向量存储。

参数
  • embedding_function (Embeddings) –

  • collection_name (str) –

  • collection_description (str) –

  • collection_properties (Optional[dict[str, Any]]) –

  • connection_args (Optional[dict[str, Any]]) –

  • consistency_level (str) –

  • index_params (Optional[dict]) –

  • search_params (Optional[dict]) –

  • drop_old (Optional[bool]) –

  • auto_id (bool) –

  • primary_field (str) –

  • text_field (str) –

  • vector_field (str) –

  • enable_dynamic_field (bool) –

  • metadata_field (Optional[str]) –

  • partition_key_field (Optional[str]) –

  • partition_names (Optional[list]) –

  • replica_number (int) –

  • timeout (Optional[float]) –

  • num_shards (Optional[int]) –

async aadd_documents(documents: List[Document], **kwargs: Any) List[str][source]

通过嵌入运行更多文档并添加到向量存储。

参数
  • documents (List[Document]) – 要添加到向量存储的文档列表。

  • kwargs (Any) –

返回

添加文本的 ID 列表。

返回类型

List[str]

async aadd_texts(texts: Iterable[str], metadatas: Optional[List[dict]] = None, **kwargs: Any) List[str]

异步通过嵌入运行更多文本并添加到向量存储。

参数
  • texts (Iterable[str]) – 要添加到向量存储的字符串的可迭代对象。

  • metadatas (Optional[List[dict]]) – 与文本关联的可选元数据列表。默认为 None。

  • **kwargs (Any) – 向量存储特定的参数。

返回

从将文本添加到向量存储中获得的 ID 列表。

Raises
  • ValueError – 如果元数据的数量与文本的数量不匹配。

  • ValueError – 如果 ID 的数量与文本的数量不匹配。

返回类型

List[str]

add_documents(documents: List[Document], **kwargs: Any) List[str][source]

通过嵌入运行更多文档并添加到向量存储。

参数
  • documents (List[Document]) – 要添加到向量存储的文档列表。

  • kwargs (Any) –

返回

添加文本的 ID 列表。

返回类型

List[str]

add_texts(texts: Iterable[str], metadatas: Optional[List[dict]] = None, timeout: Optional[float] = None, batch_size: int = 1000, *, ids: Optional[List[str]] = None, **kwargs: Any) List[str][source]

将文本数据插入 Milvus。

当集合尚未创建时插入数据将导致创建新的集合。第一个实体的数据决定了新集合的模式,维度从第一个嵌入中提取,列由第一个元数据字典决定。元数据键需要存在于所有插入的值中。目前,Milvus 中没有 None 等价物。

参数
  • texts (Iterable[str]) – 要嵌入的文本,假设它们都适合内存。

  • metadatas (Optional[List[dict]]) – 附加到每个文本的元数据字典。默认为 None。

  • False. (should be less than 65535 bytes. Required and work when auto_id is) –

  • timeout (Optional[float]) – 每次批量插入的超时时间。默认为 None。

  • batch_size (int, optional) – 用于插入的批次大小。默认为 1000。

  • ids (Optional[List[str]]) – 文本 ID 列表。每个项目的长度

  • kwargs (Any) –

Raises

MilvusException – 添加文本失败

返回

每个插入元素的最终键。

返回类型

List[str]

async adelete(ids: Optional[List[str]] = None, **kwargs: Any) Optional[bool]

异步按向量 ID 或其他条件删除。

参数
  • ids (Optional[List[str]]) – 要删除的 ID 列表。如果为 None,则删除所有。默认为 None。

  • **kwargs (Any) – 子类可能使用的其他关键字参数。

返回

如果删除成功,则为 True,否则为 False,如果未实现,则为 None。

返回类型

Optional[bool]

async classmethod afrom_documents(documents: List[Document], embedding: Embeddings, **kwargs: Any) VST

异步返回从文档和嵌入初始化的 VectorStore。

参数
  • documents (List[Document]) – 要添加到向量存储的文档列表。

  • embedding (Embeddings) – 要使用的嵌入函数。

  • kwargs (Any) – 额外的关键字参数。

返回

从文档和嵌入初始化的 VectorStore。

返回类型

VectorStore

async classmethod afrom_texts(texts: List[str], embedding: Embeddings, metadatas: Optional[List[dict]] = None, **kwargs: Any) VST

异步返回从文本和嵌入初始化的 VectorStore。

参数
  • texts (List[str]) – 要添加到向量存储的文本列表。

  • embedding (Embeddings) – 要使用的嵌入函数。

  • metadatas (Optional[List[dict]]) – 与文本关联的可选元数据列表。默认为 None。

  • kwargs (Any) – 额外的关键字参数。

返回

从文本和嵌入初始化的 VectorStore。

返回类型

VectorStore

async aget_by_ids(ids: Sequence[str], /) List[Document]

异步按 ID 获取文档。

返回的文档应将 ID 字段设置为向量存储中文档的 ID。

如果某些 ID 未找到或存在重复 ID,则返回的文档可能少于请求的数量。

用户不应假设返回文档的顺序与输入 ID 的顺序匹配。相反,用户应依赖返回文档的 ID 字段。

如果某些 ID 没有找到文档,此方法不应引发异常。

参数

ids (Sequence[str]) – 要检索的 ID 列表。

返回

文档列表。

返回类型

List[Document]

0.2.11 版本新增。

异步返回使用最大边际相关性选择的文档。

最大边际相关性优化了与查询的相似性和所选文档之间的多样性。

参数
  • query (str) – 用于查找相似文档的文本。

  • k (int) – 要返回的文档数量。默认为 4。

  • fetch_k (int) – 要获取以传递给 MMR 算法的文档数量。默认为 20。

  • lambda_mult (float) – 介于 0 和 1 之间的数字,用于确定结果之间多样性的程度,其中 0 对应于最大多样性,1 对应于最小多样性。默认为 0.5。

  • kwargs (Any) –

返回

由最大边际相关性选择的文档列表。

返回类型

List[Document]

async amax_marginal_relevance_search_by_vector(embedding: List[float], k: int = 4, fetch_k: int = 20, lambda_mult: float = 0.5, **kwargs: Any) List[Document]

异步返回使用最大边际相关性选择的文档。

最大边际相关性优化了与查询的相似性和所选文档之间的多样性。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。默认为 4。

  • fetch_k (int) – 要获取以传递给 MMR 算法的文档数量。默认为 20。

  • lambda_mult (float) – 介于 0 和 1 之间的数字,用于确定结果之间多样性的程度,其中 0 对应于最大多样性,1 对应于最小多样性。默认为 0.5。

  • **kwargs (Any) – 传递给搜索方法的参数。

返回

由最大边际相关性选择的文档列表。

返回类型

List[Document]

as_retriever(**kwargs: Any) VectorStoreRetriever

返回从此 VectorStore 初始化的 VectorStoreRetriever。

参数

**kwargs (Any) –

传递给搜索函数的关键字参数。可以包括: search_type (Optional[str]): 定义检索器应执行的搜索类型。可以是 “similarity”(默认)、“mmr” 或 “similarity_score_threshold”。

检索器应执行的搜索类型。可以是 “similarity”(默认)、“mmr” 或 “similarity_score_threshold”。

search_kwargs (Optional[Dict]): 传递给搜索函数的关键字参数。可以包括例如
search_kwargs (Optional[Dict]): 传递给搜索函数的关键字参数。可以包括例如

k: 要返回的文档数量(默认值:4) score_threshold: 相似度分数阈值的最小相关性阈值

k: 要返回的文档数量(默认值:4) score_threshold: 相似度分数阈值的最小相关性阈值

fetch_k: 传递给 MMR 算法的文档数量

fetch_k: 传递给 MMR 算法的文档数量

(默认值:20)

lambda_mult: MMR 返回结果的多样性;

lambda_mult: MMR 返回结果的多样性;

返回

1 表示最小多样性,0 表示最大多样性。(默认值:0.5)

返回类型

filter: 按文档元数据过滤

VectorStore 的检索器类。

# Retrieve more documents with higher diversity
# Useful if your dataset has many similar documents
docsearch.as_retriever(
    search_type="mmr",
    search_kwargs={'k': 6, 'lambda_mult': 0.25}
)

# Fetch more documents for the MMR algorithm to consider
# But only return the top 5
docsearch.as_retriever(
    search_type="mmr",
    search_kwargs={'k': 5, 'fetch_k': 50}
)

# Only retrieve documents that have a relevance score
# Above a certain threshold
docsearch.as_retriever(
    search_type="similarity_score_threshold",
    search_kwargs={'score_threshold': 0.8}
)

# Only get the single most similar document from the dataset
docsearch.as_retriever(search_kwargs={'k': 1})

# Use a filter to only retrieve documents from a specific paper
docsearch.as_retriever(
    search_kwargs={'filter': {'paper_title':'GPT-4 Technical Report'}}
)
VectorStoreRetriever

异步返回与查询最相似的文档,使用指定的搜索类型。

参数
  • 示例

  • async asearch(query: str, search_type: str, **kwargs: Any) List[Document]

  • **kwargs (Any) – 传递给搜索方法的参数。

返回

query (str) – 输入文本。

Raises

search_type (str) – 要执行的搜索类型。可以是 “similarity”、“mmr” 或 “similarity_score_threshold”。

返回类型

List[Document]

异步返回与查询最相似的文档。

参数
  • 示例

  • k (int) – 要返回的文档数量。默认为 4。

  • **kwargs (Any) – 传递给搜索方法的参数。

返回

query (str) – 输入文本。

返回类型

List[Document]

ValueError – 如果 search_type 不是 “similarity”、“mmr” 或 “similarity_score_threshold” 之一。

异步返回与嵌入向量最相似的文档。

参数
  • embedding (List[float]) – 用于查找相似文档的嵌入向量。

  • k (int) – 要返回的文档数量。默认为 4。

  • **kwargs (Any) – 传递给搜索方法的参数。

返回

async asimilarity_search(query: str, k: int = 4, **kwargs: Any) List[Document]

返回类型

List[Document]

async asimilarity_search_by_vector(embedding: List[float], k: int = 4, **kwargs: Any) List[Document]

异步返回文档和 [0, 1] 范围内的相关性得分。

与查询向量最相似的文档列表。

参数
  • 示例

  • k (int) – 要返回的文档数量。默认为 4。

  • **kwargs (Any) –

    async asimilarity_search_with_relevance_scores(query: str, k: int = 4, **kwargs: Any) List[Tuple[Document, float]]

    0 表示不相似,1 表示最相似。

返回

要传递给相似性搜索的 kwargs。应包括: score_threshold: 可选,介于 0 到 1 之间的浮点值,用于

返回类型

过滤检索到的文档结果集

async asimilarity_search_with_score(*args: Any, **kwargs: Any) List[Tuple[Document, float]]

异步运行带距离的相似性搜索。

参数
  • *args (Any) – 传递给搜索方法的参数。

  • **kwargs (Any) – 传递给搜索方法的参数。

返回

由 (doc, similarity_score) 元组组成的列表。

返回类型

过滤检索到的文档结果集

astreaming_upsert(items: AsyncIterable[Document], /, batch_size: int, **kwargs: Any) AsyncIterator[UpsertResponse]

Beta 版本

在 0.2.11 版本中添加。API 可能会发生变化。

以流式方式更新文档。是 streaming_upsert 的异步版本。

参数
  • items (AsyncIterable[Document]) – 要添加到向量存储的文档的可迭代对象。

  • batch_size (int) – 每次更新批处理的大小。

  • kwargs (Any) – 额外的关键字参数。 kwargs 应该只包含所有文档通用的参数。(例如,索引超时、重试策略等)kwargs 不应包含 ids,以避免语义不明确。相反,ID 应该作为 Document 对象的一部分提供。

Yields

UpsertResponse – 响应对象,其中包含已在向量存储中成功添加或更新的 ID 列表,以及未能添加或更新的 ID 列表。

返回类型

AsyncIterator[UpsertResponse]

0.2.11 版本新增。

async aupsert(items: Sequence[Document], /, **kwargs: Any) UpsertResponse

Beta 版本

在 0.2.11 版本中添加。API 可能会发生变化。

在向量存储中添加或更新文档。是 upsert 的异步版本。

如果提供了 Document 对象的 ID 字段,upsert 功能应该使用它。如果未提供 ID,则 upsert 方法可以自由地为文档生成 ID。

当指定了 ID 并且文档已存在于向量存储中时,upsert 方法应该使用新数据更新文档。如果文档不存在,则 upsert 方法应该将文档添加到向量存储中。

参数
  • items (Sequence[Document]) – 要添加到向量存储的文档序列。

  • kwargs (Any) – 额外的关键字参数。

返回

响应对象,其中包含已在向量存储中成功添加或更新的 ID 列表,以及未能添加或更新的 ID 列表。

返回类型

UpsertResponse

0.2.11 版本新增。

delete(ids: Optional[List[str]] = None, expr: Optional[str] = None, **kwargs: str)[source]

通过向量 ID 或布尔表达式删除。有关表达式的注释和示例,请参阅 [Milvus 文档](https://milvus.io/docs/delete_data.md)。

参数
  • ids (Optional[List[str]]) – 要删除的 ID 列表。

  • expr (Optional[str]) – 指定要删除实体的布尔表达式。

  • kwargs (str) – Milvus delete api 中的其他参数。

classmethod from_documents(documents: List[Document], embedding: Embeddings, **kwargs: Any) VST

返回从文档和嵌入初始化的 VectorStore。

参数
  • documents (List[Document]) – 要添加到向量存储的文档列表。

  • embedding (Embeddings) – 要使用的嵌入函数。

  • kwargs (Any) – 额外的关键字参数。

返回

从文档和嵌入初始化的 VectorStore。

返回类型

VectorStore

classmethod from_texts(texts: List[str], embedding: Embeddings, metadatas: Optional[List[dict]] = None, collection_name: str = 'LangChainCollection', connection_args: dict[str, Any] = {'uri': 'http://localhost:19530'}, consistency_level: str = 'Session', index_params: Optional[dict] = None, search_params: Optional[dict] = None, drop_old: bool = False, *, ids: Optional[List[str]] = None, **kwargs: Any) Milvus[source]

创建 Milvus 集合,使用 HNSW 索引并插入数据。

参数
  • texts (List[str]) – 文本数据。

  • embedding (Embeddings) – 嵌入函数。

  • metadatas (Optional[List[dict]]) – 每个文本的元数据(如果存在)。默认为 None。

  • collection_name (str, optional) – 要使用的集合名称。默认为 “LangChainCollection”。

  • connection_args (dict[str, Any], optional) – 要使用的连接参数。默认为 DEFAULT_MILVUS_CONNECTION。

  • consistency_level (str, optional) – 要使用的一致性级别。默认为 “Session”。

  • index_params (Optional[dict], optional) – 要使用的索引参数。默认为 None。

  • search_params (Optional[dict], optional) – 要使用的搜索参数。默认为 None。

  • drop_old (Optional[bool], optional) – 如果存在同名集合,是否删除该集合。默认为 False。

  • ids (Optional[List[str]]) – 文本 ID 列表。默认为 None。

  • kwargs (Any) –

返回

Milvus 向量存储

返回类型

Milvus

get_by_ids(ids: Sequence[str], /) List[Document]

按 ID 获取文档。

返回的文档应将 ID 字段设置为向量存储中文档的 ID。

如果某些 ID 未找到或存在重复 ID,则返回的文档可能少于请求的数量。

用户不应假设返回文档的顺序与输入 ID 的顺序匹配。相反,用户应依赖返回文档的 ID 字段。

如果某些 ID 没有找到文档,此方法不应引发异常。

参数

ids (Sequence[str]) – 要检索的 ID 列表。

返回

文档列表。

返回类型

List[Document]

0.2.11 版本新增。

get_pks(expr: str, **kwargs: Any) Optional[List[int]][source]

使用表达式获取主键

参数
  • expr (str) – 表达式 - 例如:“id in [1, 2]”,或 “title LIKE ‘Abc%’”

  • kwargs (Any) –

返回

ID 列表(主键)

返回类型

List[int]

执行搜索并返回按 MMR 重新排序的结果。

参数
  • query (str) – 要搜索的文本。

  • k (int, optional) – 返回多少个结果。默认为 4。

  • fetch_k (int, optional) – 从总共多少个结果中选择 k 个。默认为 20。

  • lambda_mult (float) – 介于 0 和 1 之间的数字,用于确定结果之间多样性的程度,其中 0 对应于最大多样性,1 对应于最小多样性。默认为 0.5

  • param (dict, optional) – 指定索引的搜索参数。默认为 None。

  • expr (str, optional) – 过滤表达式。默认为 None。

  • timeout (float, optional) – 超时错误前等待多长时间。默认为 None。

  • kwargs (Any) – Collection.search() 关键字参数。

返回

搜索的文档结果。

返回类型

List[Document]

max_marginal_relevance_search_by_vector(embedding: list[float], k: int = 4, fetch_k: int = 20, lambda_mult: float = 0.5, param: Optional[dict] = None, expr: Optional[str] = None, timeout: Optional[float] = None, **kwargs: Any) List[Document][source]

执行搜索并返回按 MMR 重新排序的结果。

参数
  • embedding (str) – 要搜索的嵌入向量。

  • k (int, optional) – 返回多少个结果。默认为 4。

  • fetch_k (int, optional) – 从总共多少个结果中选择 k 个。默认为 20。

  • lambda_mult (float) – 介于 0 和 1 之间的数字,用于确定结果之间多样性的程度,其中 0 对应于最大多样性,1 对应于最小多样性。默认为 0.5

  • param (dict, optional) – 指定索引的搜索参数。默认为 None。

  • expr (str, optional) – 过滤表达式。默认为 None。

  • timeout (float, optional) – 超时错误前等待多长时间。默认为 None。

  • kwargs (Any) – Collection.search() 关键字参数。

返回

搜索的文档结果。

返回类型

List[Document]

search(query: str, search_type: str, **kwargs: Any) List[Document]

返回与查询最相似的文档,使用指定的搜索类型。

参数
  • query (str) – 输入文本

  • async asearch(query: str, search_type: str, **kwargs: Any) List[Document]

  • **kwargs (Any) – 传递给搜索方法的参数。

返回

query (str) – 输入文本。

Raises

search_type (str) – 要执行的搜索类型。可以是 “similarity”、“mmr” 或 “similarity_score_threshold”。

返回类型

List[Document]

对查询字符串执行相似性搜索。

参数
  • query (str) – 要搜索的文本。

  • k (int, optional) – 返回多少个结果。默认为 4。

  • param (dict, optional) – 索引类型的搜索参数。默认为 None。

  • expr (str, optional) – 过滤表达式。默认为 None。

  • timeout (int, optional) – 超时错误前等待多长时间。默认为 None。

  • kwargs (Any) – Collection.search() 关键字参数。

返回

搜索的文档结果。

返回类型

List[Document]

similarity_search_by_vector(embedding: List[float], k: int = 4, param: Optional[dict] = None, expr: Optional[str] = None, timeout: Optional[float] = None, **kwargs: Any) List[Document][source]

对查询字符串执行相似性搜索。

参数
  • embedding (List[float]) – 要搜索的嵌入向量。

  • k (int, optional) – 返回多少个结果。默认为 4。

  • param (dict, optional) – 索引类型的搜索参数。默认为 None。

  • expr (str, optional) – 过滤表达式。默认为 None。

  • timeout (int, optional) – 超时错误前等待多长时间。默认为 None。

  • kwargs (Any) – Collection.search() 关键字参数。

返回

搜索的文档结果。

返回类型

List[Document]

similarity_search_with_relevance_scores(query: str, k: int = 4, **kwargs: Any) List[Tuple[Document, float]]

返回文档和 [0, 1] 范围内的相关性得分。

与查询向量最相似的文档列表。

参数
  • 示例

  • k (int) – 要返回的文档数量。默认为 4。

  • **kwargs (Any) –

    async asimilarity_search_with_relevance_scores(query: str, k: int = 4, **kwargs: Any) List[Tuple[Document, float]]

    过滤检索到的文档结果集。

返回

由 (doc, similarity_score) 元组组成的列表。

返回类型

过滤检索到的文档结果集

similarity_search_with_score(query: str, k: int = 4, param: Optional[dict] = None, expr: Optional[str] = None, timeout: Optional[float] = None, **kwargs: Any) List[Tuple[Document, float]][source]

对查询字符串执行搜索并返回带得分的结果。

有关搜索参数的更多信息,请查看 pymilvus 文档:https://milvus.io/api-reference/pymilvus/v2.4.x/ORM/Collection/search.md

参数
  • query (str) – 要搜索的文本。

  • k (int, optional) – 要返回的结果数量。默认为 4。

  • param (dict) – 指定索引的搜索参数。默认为 None。

  • expr (str, optional) – 过滤表达式。默认为 None。

  • timeout (float, optional) – 超时错误前等待多长时间。默认为 None。

  • kwargs (Any) – Collection.search() 关键字参数。

返回类型

List[float], List[Tuple[Document, any, any]]

similarity_search_with_score_by_vector(embedding: List[float], k: int = 4, param: Optional[dict] = None, expr: Optional[str] = None, timeout: Optional[float] = None, **kwargs: Any) List[Tuple[Document, float]][source]

对嵌入执行搜索并返回带得分的结果。

有关搜索参数的更多信息,请查看 pymilvus 文档:https://milvus.io/api-reference/pymilvus/v2.4.x/ORM/Collection/search.md

参数
  • embedding (List[float]) – 要搜索的嵌入向量。

  • k (int, optional) – 要返回的结果数量。默认为 4。

  • param (dict) – 指定索引的搜索参数。默认为 None。

  • expr (str, optional) – 过滤表达式。默认为 None。

  • timeout (float, optional) – 超时错误前等待多长时间。默认为 None。

  • kwargs (Any) – Collection.search() 关键字参数。

返回

返回文档和分数。

返回类型

过滤检索到的文档结果集

streaming_upsert(items: Iterable[Document], /, batch_size: int, **kwargs: Any) Iterator[UpsertResponse]

Beta 版本

在 0.2.11 版本中添加。API 可能会发生变化。

以流式方式更新插入文档。

参数
  • items (Iterable[Document]) – 要添加到向量数据库的文档的可迭代对象。

  • batch_size (int) – 每次更新批处理的大小。

  • kwargs (Any) – 附加的关键字参数。 kwargs 应该只包含所有文档通用的参数。(例如,索引超时,重试策略等)kwargs 不应包含 ids 以避免语义模糊。相反,ID 应该作为 Document 对象的一部分提供。

Yields

UpsertResponse – 响应对象,其中包含已在向量存储中成功添加或更新的 ID 列表,以及未能添加或更新的 ID 列表。

返回类型

Iterator[UpsertResponse]

0.2.11 版本新增。

upsert(ids: Optional[List[str]] = None, documents: Optional[List[Document]] = None, **kwargs: Any) Optional[List[str]][source]

更新/插入文档到向量存储。

参数
  • ids (Optional[List[str]]) – 要更新的 IDs - 让我们调用 get_pks 来通过表达式获取 ids

  • documents (List[Document]) – 要添加到向量存储的文档列表。

  • kwargs (Any) –

返回

添加的文本的 ID。

返回类型

List[str]

使用 Milvus 的示例