langchain_community.embeddings.llamacpp.LlamaCppEmbeddings

class langchain_community.embeddings.llamacpp.LlamaCppEmbeddings

基类：BaseModel，Embeddings

llama.cpp嵌入模型。

要使用，您应该已安装llama-cpp-python库，并将Llama模型的路径作为命名参数传递给构造函数。查看：https://github.com/abetlen/llama-cpp-python

示例

from langchain_community.embeddings import LlamaCppEmbeddings
llama = LlamaCppEmbeddings(model_path="/path/to/model.bin")

通过解析和验证从关键字参数中输入的数据来创建新模型。

如果输入数据无法解析为有效模型，则引发ValidationError。

param f16_kv: bool = False

使用半精度存储键/值缓存。

param logits_all: bool = False

返回所有标记的logits，而不仅限于最后一个标记。

param model_path [Required]

param n_batch: Optional[int] = 512

并行处理标记的数量。应该是1到n_ctx之间的数字。

param n_ctx [Required]

标记上下文窗口。

param n_gpu_layers [Optional][int] = None

要加载到GPU内存中的层数。默认为None。

参数 n_parts: int = -1

模型拆分为几个部分的数量。如果为-1，将自动确定部分数量。

参数 n_threads: Optional[int] = None

要使用的线程数。如果为None，将自动确定线程数。

参数 seed: int = -1

随机数生成种子。如果为-1，则使用随机种子。

参数 use_mlock: bool = False

强制系统将模型保留在RAM中。

参数 verbose: bool = True

将详细输出打印到stderr。

参数 vocab_only: bool = False

仅加载词汇表，不加载权重。

async aembed_documents(texts: List[str]) → List[List[float]]

异步嵌入文档搜索。

参数

texts (列表[str]) – 要嵌入的文本列表。

返回

嵌入列表。

返回类型

列表[列表[float]]

async aembed_query(text: str) → List[float]

异步嵌入查询文本。

参数

text （str）- 要嵌入的文本。

返回

嵌入。

返回类型

float 列表

embed_documents(texts: List[str]) → List[List[float]]

使用Llama模型嵌入一系列文档。

参数

texts （List [ str ]）- 要嵌入的文本列表。

返回

每个文本的嵌入列表。

返回类型

列表[列表[float]]

embed_query(text: str) → List[float]

使用Llama模型嵌入查询。

参数

text （str）- 要嵌入的文本。

返回

文本的嵌入。

返回类型

float 列表

使用LlamaCppEmbeddings的示例

• Llama-cpp

• Llama.cpp