langchain_community.embeddings.xinference.XinferenceEmbeddings

class langchain_community.embeddings.xinference.XinferenceEmbeddings(server_url: Optional[str] = None, model_uid: Optional[str] = None)

Xinference 嵌入模型。

使用之前，您需要安装 xinference 库

pip install xinference

如果您只是使用 Xinference 提供的服务，可以利用 xinference_client 包

pip install xinference_client

请参阅：https://github.com/xorbitsai/inference 要运行，您需要在一台服务器上启动 Xinference 超级管理器，在其他服务器上启动 Xinference 工作者。

示例

要启动 Xinference 的本地实例，请运行

$ xinference

您也可以在分布式集群中部署 Xinference。以下是步骤

启动超级管理器

$ xinference-supervisor

如果您只是使用 Xinference 提供的服务，可以利用 xinference_client 包

pip install xinference_client

启动工作者

$ xinference-worker

然后，通过命令行界面（CLI）启动模型。

示例

$ xinference launch -n orca -s 3 -q q4_0

它会返回模型 UID。然后您可以使用 Xinference 嵌入与 LangChain。

示例

from langchain_community.embeddings import XinferenceEmbeddings

xinference = XinferenceEmbeddings(
    server_url="http://0.0.0.0:9997",
    model_uid = {model_uid} # replace model_uid with the model UID return from launching the model
)

属性

client
server_url	xinference 服务器的 URL
model_uid	已启动模型的 UID

方法

__init__([server_url, model_uid])
aembed_documents(texts)	异步嵌入文档搜索。
aembed_query(text)	异步嵌入查询文本。
embed_documents(texts)	使用 Xinference 嵌入文档列表。
embed_query(text)	使用 Xinference 嵌入文档查询。

参数

• server_url (Optional[str]) –

• model_uid (Optional[str]) –

__init__(server_url: Optional[str] = None, model_uid: Optional[str] = None)

参数

• server_url (Optional[str]) –

• model_uid (Optional[str]) –

async aembed_documents(texts: List[str]) → List[List[float]]

异步嵌入文档搜索。

参数

texts (列表['str']) – 要嵌入的文本列表。

返回结果

嵌入列表。

返回类型

列表[[float]]

async aembed_query(text: str) → List[float]

异步嵌入查询文本。

参数

text (字符串) – 要嵌入的文本。

返回结果

嵌入。

返回类型

列表[float]

embed_documents(texts: List[str]) → List[List[float]]

使用 Xinference 对文档进行嵌入。:param texts: 要嵌入的文本列表。

返回结果

为每个文本返回一个嵌入列表。

参数

texts (列表['str']) –

返回类型

列表[[float]]

embed_query(text: str) → List[float]

使用 Xinference 将文档查询嵌入。:param text: 要嵌入的文本。

返回结果

文本的嵌入。

参数

text (str) –

返回类型

列表[float]

使用 XinferenceEmbeddings 的示例

• Xorbits 推理（Xinference）