`langchain_community.llms.baidu_qianfan_endpoint`.QianfanLLMEndpoint¶

注意 (Note)

QianfanLLMEndpoint 实现了标准的 Runnable 接口。 🏃

Runnable 接口 还有在 runnables 上可用的其他方法，例如 with_types、 with_retry、 assign、 bind、 get_graph 等。

class langchain_community.llms.baidu_qianfan_endpoint.QianfanLLMEndpoint[源代码]¶

基类: LLM

百度千帆托管的开源或定制模型。

要使用，您应该安装 qianfan python 包，并设置环境变量 qianfan_ak 和 qianfan_sk，其中包含您的 API 密钥和 Secret Key。

ak, sk 是必需参数，您可以从 https://cloud.baidu.com/product/wenxinworkshop 获取

示例 (Example)

from langchain_community.llms import QianfanLLMEndpoint
qianfan_model = QianfanLLMEndpoint(model="ERNIE-Bot",
    endpoint="your_endpoint", qianfan_ak="your_ak", qianfan_sk="your_sk")

param cache: Union[BaseCache, bool, None] = None¶

是否缓存响应。(Whether to cache the response.)

如果为 true，将使用全局缓存。(If true, will use the global cache.)
如果为 false，将不使用缓存 (If false, will not use a cache)
如果为 None，如果已设置全局缓存，则使用全局缓存，否则不使用缓存。(If None, will use the global cache if it’s set, otherwise no cache.)
如果是 BaseCache 的实例，将使用提供的缓存。(If instance of BaseCache, will use the provided cache.)

模型流式传输方法目前不支持缓存。(Caching is not currently supported for streaming methods of models.)

param callback_manager: Optional[BaseCallbackManager] = None¶: [已弃用] ([DEPRECATED])

param callbacks: Callbacks = None¶: 添加到运行轨迹的回调。(Callbacks to add to the run trace.)

param client: Any = None¶

param custom_get_token_ids: Optional[Callable[[str], List[[int]]] = None¶: 用于计算令牌的可选编码器。(Optional encoder to use for counting tokens.)

param endpoint: Optional[str] = None¶: 千帆 LLM 的端点，如果使用自定义模型则为必需。(Endpoint of the Qianfan LLM, required if custom model used.)

param init_kwargs: Dict[str, Any] [可选]¶: qianfan 客户端初始化的 init kwargs，例如与 qianfan 资源对象关联以限制 QPS 的 query_per_second

param metadata: Optional[Dict[str, Any]] = None¶: 添加到运行轨迹的元数据。(Metadata to add to the run trace.)

param model: str = 'ERNIE-Bot-turbo'¶

模型名称。您可以从 https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Nlks5zkzu 获取 (Model name. you could get from https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Nlks5zkzu)

预设模型映射到一个端点。model 如果设置了 endpoint 将被忽略 (preset models are mapping to an endpoint. model will be ignored if endpoint is set)

param model_kwargs: Dict[str, Any] [可选]¶: 使用 do 调用模型的额外参数。(extra params for model invoke using with do.)

param penalty_score: Optional[float] = 1¶: 模型参数，仅在 ERNIE-Bot 和 ERNIE-Bot-turbo 中支持。对于其他模型，传递这些参数不会影响结果。(Model params, only supported in ERNIE-Bot and ERNIE-Bot-turbo. In the case of other model, passing these params will not affect the result.)

param qianfan_ak: Optional[SecretStr] = None¶

约束 (Constraints)

类型 (type) = 字符串 (string)
writeOnly = True
格式 (format) = 密码 (password)

param qianfan_sk: Optional[SecretStr] = None¶

约束 (Constraints)

类型 (type) = 字符串 (string)
writeOnly = True
格式 (format) = 密码 (password)

param request_timeout: Optional[int] = 60¶: 聊天 http 请求的请求超时时间 (request timeout for chat http requests)

param streaming: Optional[bool] = False¶: 是否流式传输结果。(Whether to stream the results or not.)

param tags: Optional[List[[str]] = None¶: 添加到运行轨迹的标签。(Tags to add to the run trace.)

param temperature: Optional[float] = 0.95¶

param top_p: Optional[float] = 0.8¶

param verbose: bool [可选]¶: 是否打印响应文本。(Whether to print out response text.)

__call__(prompt: str, stop: Optional[List[[str]] = None, callbacks: Optional[Union[[List[[BaseCallbackHandler], BaseCallbackManager]] = None, *, tags: Optional[List[[str]] = None, metadata: Optional[Dict[[str, Any]] = None, **kwargs: Any) → str¶

Deprecated since version langchain-core==0.1.7: 请使用 invoke 代替。(Use invoke instead.)

检查缓存并在给定提示和输入上运行 LLM。(Check Cache and run the LLM on the given prompt and input.)

参数 (Parameters)

prompt (str) – 要从中生成的提示。(The prompt to generate from.)
stop (Optional[List[str]]) – 生成时使用的停止词。模型输出在首次出现任何这些子字符串时被截断。(Stop words to use when generating. Model output is cut off at the first occurrence of any of these substrings.)
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 要传递的回调。用于在整个生成过程中执行额外的功能，例如日志记录或流式传输。(Callbacks to pass through. Used for executing additional functionality, such as logging or streaming, throughout generation.)
tags (Optional[List[str]]) – 与提示关联的标签列表。(List of tags to associate with the prompt.)
metadata (Optional[Dict[str, Any]]) – 与提示关联的元数据。(Metadata to associate with the prompt.)
**kwargs (Any) – 任意额外的关键字参数。这些通常传递给模型提供商 API 调用。(Arbitrary additional keyword arguments. These are usually passed to the model provider API call.)

返回 (Returns)

生成的文本。(The generated text.)

引发 (Raises)

ValueError – 如果提示不是字符串。(If the prompt is not a string.)

返回类型 (Return type)

str

async abatch(inputs: List[Union[[PromptValue, str, Sequence[[Union[[BaseMessage, List[[str], Tuple[[str, str], str, Dict[[str, Any]]]]], config: Optional[Union[[RunnableConfig, List[[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Any) → List[str]¶

默认实现使用 asyncio.gather 并行运行 ainvoke。(Default implementation runs ainvoke in parallel using asyncio.gather.)

batch 的默认实现非常适用于 IO 绑定的 runnables。(The default implementation of batch works well for IO bound runnables.)

如果子类可以更有效地进行批量处理，则应覆盖此方法；例如，如果底层 Runnable 使用支持批量模式的 API。(Subclasses should override this method if they can batch more efficiently; e.g., if the underlying Runnable uses an API which supports a batch mode.)

参数 (Parameters)

inputs (List[Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]]]) – Runnable 的输入列表。(A list of inputs to the Runnable.)
config (Optional[Union[RunnableConfig, List[RunnableConfig]]]) – 调用 Runnable 时使用的配置。该配置支持标准键，如用于跟踪目的的“tags”、“metadata”，用于控制并行执行多少工作的“max_concurrency”以及其他键。有关更多详细信息，请参阅 RunnableConfig。默认为 None。(A config to use when invoking the Runnable. The config supports standard keys like ‘tags’, ‘metadata’ for tracing purposes, ‘max_concurrency’ for controlling how much work to do in parallel, and other keys. Please refer to the RunnableConfig for more details. Defaults to None.)
return_exceptions (bool) – 是否返回异常而不是引发它们。默认为 False。(Whether to return exceptions instead of raising them. Defaults to False.)
kwargs (Any) – 要传递给 Runnable 的其他关键字参数。(Additional keyword arguments to pass to the Runnable.)

返回 (Returns)

来自 Runnable 的输出列表。(A list of outputs from the Runnable.)

返回类型 (Return type)

List[str]

async abatch_as_completed(inputs: Sequence[Input], config: Optional[Union[[RunnableConfig, Sequence[[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → AsyncIterator[Tuple[[int, Union[[Output, Exception]]]]¶

在一系列输入上并行运行 ainvoke，并在结果完成时产生结果。(Run ainvoke in parallel on a list of inputs, yielding results as they complete.)

参数 (Parameters)

inputs (Sequence[Input]) – Runnable 的输入列表。(A list of inputs to the Runnable.)
config (Optional[Union[RunnableConfig, Sequence[RunnableConfig]]]) – 调用 Runnable 时使用的配置。该配置支持标准键，如用于跟踪目的的“tags”、“metadata”，用于控制并行执行多少工作的“max_concurrency”以及其他键。有关更多详细信息，请参阅 RunnableConfig。默认为 None。默认为 None。(A config to use when invoking the Runnable. The config supports standard keys like ‘tags’, ‘metadata’ for tracing purposes, ‘max_concurrency’ for controlling how much work to do in parallel, and other keys. Please refer to the RunnableConfig for more details. Defaults to None. Defaults to None.)
return_exceptions (bool) – 是否返回异常而不是引发它们。默认为 False。(Whether to return exceptions instead of raising them. Defaults to False.)
kwargs (Optional[Any]) – 要传递给 Runnable 的其他关键字参数。(Additional keyword arguments to pass to the Runnable.)

产生 (Yields)

输入索引和来自 Runnable 的输出的元组。(A tuple of the index of the input and the output from the Runnable.)

返回类型 (Return type)

AsyncIterator[Tuple[int, Union[Output, Exception]]]

async agenerate(prompts: List[str], stop: Optional[List[str]] = None, callbacks: Union[List[BaseCallbackHandler], BaseCallbackManager, None, List[Optional]Union[List[BaseCallbackHandler], BaseCallbackManager]]]] = None, *, tags: Optional[Union[List[str], List[List[str]]]] = None, metadata: Optional[Union[Dict[str, Any], List[Dict[str, Any]]]] = None, run_name: Optional[Union[str, List[str]]] = None, run_id: Optional[Union[UUID, List[Optional[UUID]]]] = None, **kwargs: Any) → LLMResult¶

异步地将一系列提示传递给模型并返回生成结果。

此方法应针对公开批量 API 的模型使用批量调用。

当您想要

利用批量调用时，
需要从模型获得比仅仅最佳生成值更多的输出时，
构建与底层语言模型无关的链时，
类型（例如，纯文本补全模型与聊天模型）。

参数 (Parameters)

prompts (List[str]) – 字符串提示列表。
stop (Optional[List[str]]) – 生成时使用的停止词。模型输出在首次出现任何这些子字符串时被截断。(Stop words to use when generating. Model output is cut off at the first occurrence of any of these substrings.)
callbacks (Union[List[BaseCallbackHandler], BaseCallbackManager, None, List[Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]]]) – 要传递的回调函数。用于在整个生成过程中执行额外的功能，例如日志记录或流式传输。
tags (Optional[Union[List[str], List[List[str]]]]) – 与每个提示关联的标签列表。如果提供，列表的长度必须与提示列表的长度匹配。
metadata (Optional[Union[Dict[str, Any], List[Dict[str, Any]]]]) – 与每个提示关联的元数据字典列表。如果提供，列表的长度必须与提示列表的长度匹配。
run_name (Optional[Union[str, List[str]]]) – 与每个提示关联的运行名称列表。如果提供，列表的长度必须与提示列表的长度匹配。
run_id (Optional[Union[UUID, List[Optional[UUID]]]]) – 与每个提示关联的运行 ID 列表。如果提供，列表的长度必须与提示列表的长度匹配。
**kwargs (Any) – 任意额外的关键字参数。这些通常传递给模型提供商 API 调用。(Arbitrary additional keyword arguments. These are usually passed to the model provider API call.)

返回 (Returns)

一个 LLMResult 对象，其中包含每个输入的候选生成结果列表: 提示以及模型提供商特定的额外输出。

返回类型 (Return type)

LLMResult

async agenerate_prompt(prompts: List[PromptValue], stop: Optional[List[str]] = None, callbacks: Union[List[BaseCallbackHandler], BaseCallbackManager, None, List[Optional]Union[List[BaseCallbackHandler], BaseCallbackManager]]]] = None, **kwargs: Any) → LLMResult¶

异步地传递一系列提示并返回模型生成结果。

此方法应针对公开批量 API 的模型使用批量调用。

当您想要

利用批量调用时，
需要从模型获得比仅仅最佳生成值更多的输出时，
构建与底层语言模型无关的链时，
类型（例如，纯文本补全模型与聊天模型）。

参数 (Parameters)

prompts (List[PromptValue]) – PromptValue 对象列表。 PromptValue 是一个可以转换为匹配任何语言模型格式的对象（纯文本生成模型的字符串和聊天模型的 BaseMessages）。
stop (Optional[List[str]]) – 生成时使用的停止词。模型输出在首次出现任何这些子字符串时被截断。(Stop words to use when generating. Model output is cut off at the first occurrence of any of these substrings.)
callbacks (Union[List[BaseCallbackHandler], BaseCallbackManager, None, List[Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]]]) – 要传递的回调函数。用于在整个生成过程中执行额外的功能，例如日志记录或流式传输。
**kwargs (Any) – 任意额外的关键字参数。这些通常传递给模型提供商 API 调用。(Arbitrary additional keyword arguments. These are usually passed to the model provider API call.)

返回 (Returns)

一个 LLMResult 对象，其中包含每个输入的候选生成结果列表: 提示以及模型提供商特定的额外输出。

返回类型 (Return type)

LLMResult

async ainvoke(input: Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], config: Optional[RunnableConfig] = None, *, stop: Optional[List[str]] = None, **kwargs: Any) → str¶

ainvoke 的默认实现，从线程调用 invoke。

即使 Runnable 没有实现 invoke 的原生异步版本，默认实现也允许使用异步代码。

如果子类可以异步运行，则应重写此方法。

参数 (Parameters)

input (Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]]) –
config (Optional[RunnableConfig]) –
stop (Optional[List[str]]) –
kwargs (Any) –

返回类型 (Return type)

str

async apredict(text: str, *, stop: Optional[Sequence[str]] = None, **kwargs: Any) → str¶

Deprecated since version langchain-core==0.1.7: 自 langchain-core==0.1.7 版本起已弃用：请改用 ainvoke。

参数 (Parameters)

text (str) –
stop (Optional[Sequence[str]]) –
kwargs (Any) –

返回类型 (Return type)

str

async apredict_messages(messages: List[BaseMessage], *, stop: Optional[Sequence[str]] = None, **kwargs: Any) → BaseMessage¶

Deprecated since version langchain-core==0.1.7: 自 langchain-core==0.1.7 版本起已弃用：请改用 ainvoke。

参数 (Parameters)

messages (List[BaseMessage]) –
stop (Optional[Sequence[str]]) –
kwargs (Any) –

返回类型 (Return type)

BaseMessage

as_tool(args_schema: Optional[Type[BaseModel]] = None, *, name: Optional[str] = None, description: Optional[str] = None, arg_types: Optional[Dict[str, Type]] = None) → BaseTool¶

Beta

此 API 处于 Beta 阶段，未来可能会发生更改。

从 Runnable 创建一个 BaseTool。

as_tool 将从 Runnable 实例化一个 BaseTool，其中包含名称、描述和 args_schema。在可能的情况下，模式从 runnable.get_input_schema 推断。或者（例如，如果 Runnable 接受字典作为输入，并且未对特定字典键进行类型化），可以使用 args_schema 直接指定模式。您还可以传递 arg_types 以仅指定必需的参数及其类型。

参数 (Parameters)

args_schema (Optional[Type[BaseModel]]) – 工具的模式。默认为 None。
name (Optional[str]) – 工具的名称。默认为 None。
description (Optional[str]) – 工具的描述。默认为 None。
arg_types (Optional[Dict[str, Type]]) – 参数名称到类型的字典。默认为 None。

返回 (Returns)

一个 BaseTool 实例。

返回类型 (Return type)

BaseTool

类型化字典输入

from typing import List
from typing_extensions import TypedDict
from langchain_core.runnables import RunnableLambda

class Args(TypedDict):
    a: int
    b: List[int]

def f(x: Args) -> str:
    return str(x["a"] * max(x["b"]))

runnable = RunnableLambda(f)
as_tool = runnable.as_tool()
as_tool.invoke({"a": 3, "b": [1, 2]})

dict 输入，通过 args_schema 指定模式

from typing import Any, Dict, List
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.runnables import RunnableLambda

def f(x: Dict[str, Any]) -> str:
    return str(x["a"] * max(x["b"]))

class FSchema(BaseModel):
    """Apply a function to an integer and list of integers."""

    a: int = Field(..., description="Integer")
    b: List[int] = Field(..., description="List of ints")

runnable = RunnableLambda(f)
as_tool = runnable.as_tool(FSchema)
as_tool.invoke({"a": 3, "b": [1, 2]})

dict 输入，通过 arg_types 指定模式

from typing import Any, Dict, List
from langchain_core.runnables import RunnableLambda

def f(x: Dict[str, Any]) -> str:
    return str(x["a"] * max(x["b"]))

runnable = RunnableLambda(f)
as_tool = runnable.as_tool(arg_types={"a": int, "b": List[int]})
as_tool.invoke({"a": 3, "b": [1, 2]})

字符串输入

from langchain_core.runnables import RunnableLambda

def f(x: str) -> str:
    return x + "a"

def g(x: str) -> str:
    return x + "z"

runnable = RunnableLambda(f) | g
as_tool = runnable.as_tool()
as_tool.invoke("b")

0.2.14 版本新增。

async astream(input: Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], config: Optional[RunnableConfig] = None, *, stop: Optional[List[str]] = None, **kwargs: Any) → AsyncIterator[str]¶

astream 的默认实现，它调用 ainvoke。如果子类支持流式输出，则应重写此方法。

参数 (Parameters)

input (Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]]) – Runnable 的输入。
config (Optional[RunnableConfig]) – 用于 Runnable 的配置。默认为 None。
kwargs (Any) – 要传递给 Runnable 的其他关键字参数。(Additional keyword arguments to pass to the Runnable.)
stop (Optional[List[str]]) –

产生 (Yields)

Runnable 的输出。

返回类型 (Return type)

AsyncIterator[str]

astream_events(input: Any, config: Optional[RunnableConfig] = None, *, version: Literal['v1', 'v2'], include_names: Optional[Sequence[str]] = None, include_types: Optional[Sequence[str]] = None, include_tags: Optional[Sequence[str]] = None, exclude_names: Optional[Sequence[str]] = None, exclude_types: Optional[Sequence[str]] = None, exclude_tags: Optional[Sequence[str]] = None, **kwargs: Any) → AsyncIterator[Union[StandardStreamEvent, CustomStreamEvent]]¶

Beta

此 API 处于 Beta 阶段，未来可能会发生更改。

生成事件流。

用于创建 StreamEvents 的迭代器，该迭代器提供有关 Runnable 进度的实时信息，包括来自中间结果的 StreamEvents。

StreamEvent 是一个具有以下模式的字典

event: str - 事件名称的格式为：
格式：on_[runnable_type]_(start|stream|end)。
name: str - 生成事件的 Runnable 的名称。
run_id: str - 与给定 Runnable 执行关联的随机生成的 ID。
发出事件的 Runnable。作为父 Runnable 执行的一部分而被调用的子 Runnable 将被分配其自己的唯一 ID。
parent_ids: List[str] - 父 runnables 的 ID，它们是
生成事件的 Runnable 对象。根 Runnable 对象将拥有一个空列表。父 ID 的顺序是从根对象到直接父对象。仅适用于 API 的 v2 版本。API 的 v1 版本将返回一个空列表。
tags: Optional[List[str]] - 生成事件的 Runnable 对象的标签
事件。
metadata: Optional[Dict[str, Any]] - 生成事件的 Runnable 对象的元数据
事件。
data: Dict[str, Any]

下表说明了各种链可能发出的一些事件。为了简洁起见，表格中省略了元数据字段。链的定义已包含在表格之后。

注意此参考表适用于 schema 的 V2 版本。

事件	名称	块	输入	输出
on_chat_model_start	[模型名称]		{“messages”: [[SystemMessage, HumanMessage]]}
on_chat_model_stream	[模型名称]	AIMessageChunk(content=”hello”)
on_chat_model_end	[模型名称]		{“messages”: [[SystemMessage, HumanMessage]]}	AIMessageChunk(content=”hello world”)
on_llm_start	[模型名称]		{‘input’: ‘hello’}
on_llm_stream	[模型名称]	‘Hello’
on_llm_end	[模型名称]		‘Hello human!’
on_chain_start	format_docs
on_chain_stream	format_docs	“hello world!, goodbye world!”
on_chain_end	format_docs		[Document(…)]	“hello world!, goodbye world!”
on_tool_start	some_tool		{“x”: 1, “y”: “2”}
on_tool_end	some_tool			{“x”: 1, “y”: “2”}
on_retriever_start	[retriever name]		{“query”: “hello”}
on_retriever_end	[retriever name]		{“query”: “hello”}	[Document(…), ..]
on_prompt_start	[template_name]		{“question”: “hello”}
on_prompt_end	[template_name]		{“question”: “hello”}	ChatPromptValue(messages: [SystemMessage, …])

除了标准事件外，用户还可以分派自定义事件（请参见下面的示例）。

自定义事件将仅在 API 的 v2 版本中显示！

自定义事件具有以下格式

属性	类型	描述
名称	str	用户定义的事件名称。
data	Any	与事件关联的数据。这可以是任何内容，但我们建议使其可 JSON 序列化。

以下是与上面显示的标准事件关联的声明

format_docs:

def format_docs(docs: List[Document]) -> str:
    '''Format the docs.'''
    return ", ".join([doc.page_content for doc in docs])

format_docs = RunnableLambda(format_docs)

some_tool:

@tool
def some_tool(x: int, y: str) -> dict:
    '''Some_tool.'''
    return {"x": x, "y": y}

prompt:

template = ChatPromptTemplate.from_messages(
    [("system", "You are Cat Agent 007"), ("human", "{question}")]
).with_config({"run_name": "my_template", "tags": ["my_template"]})

示例 (Example)

from langchain_core.runnables import RunnableLambda

async def reverse(s: str) -> str:
    return s[::-1]

chain = RunnableLambda(func=reverse)

events = [
    event async for event in chain.astream_events("hello", version="v2")
]

# will produce the following events (run_id, and parent_ids
# has been omitted for brevity):
[
    {
        "data": {"input": "hello"},
        "event": "on_chain_start",
        "metadata": {},
        "name": "reverse",
        "tags": [],
    },
    {
        "data": {"chunk": "olleh"},
        "event": "on_chain_stream",
        "metadata": {},
        "name": "reverse",
        "tags": [],
    },
    {
        "data": {"output": "olleh"},
        "event": "on_chain_end",
        "metadata": {},
        "name": "reverse",
        "tags": [],
    },
]

示例：分派自定义事件

from langchain_core.callbacks.manager import (
    adispatch_custom_event,
)
from langchain_core.runnables import RunnableLambda, RunnableConfig
import asyncio


async def slow_thing(some_input: str, config: RunnableConfig) -> str:
    """Do something that takes a long time."""
    await asyncio.sleep(1) # Placeholder for some slow operation
    await adispatch_custom_event(
        "progress_event",
        {"message": "Finished step 1 of 3"},
        config=config # Must be included for python < 3.10
    )
    await asyncio.sleep(1) # Placeholder for some slow operation
    await adispatch_custom_event(
        "progress_event",
        {"message": "Finished step 2 of 3"},
        config=config # Must be included for python < 3.10
    )
    await asyncio.sleep(1) # Placeholder for some slow operation
    return "Done"

slow_thing = RunnableLambda(slow_thing)

async for event in slow_thing.astream_events("some_input", version="v2"):
    print(event)

参数 (Parameters)

input (Any) – Runnable 对象的输入。
config (Optional[RunnableConfig]) – 用于 Runnable 对象的配置。
version (Literal['v1', 'v2']) – 要使用的 schema 版本，可以是 v2 或 v1。用户应使用 v2。v1 用于向后兼容，将在 0.4.0 版本中弃用。在 API 稳定之前，不会分配默认值。自定义事件将仅在 v2 中显示。
include_names (Optional[Sequence[str]]) – 仅包含来自具有匹配名称的 runnable 对象的事件。
include_types (Optional[Sequence[str]]) – 仅包含来自具有匹配类型的 runnable 对象的事件。
include_tags (Optional[Sequence[str]]) – 仅包含来自具有匹配标签的 runnable 对象的事件。
exclude_names (Optional[Sequence[str]]) – 排除来自具有匹配名称的 runnable 对象的事件。
exclude_types (Optional[Sequence[str]]) – 排除来自具有匹配类型的 runnable 对象的事件。
exclude_tags (Optional[Sequence[str]]) – 排除来自具有匹配标签的 runnable 对象的事件。
kwargs (Any) – 要传递给 Runnable 对象的其他关键字参数。这些参数将传递给 astream_log，因为 astream_events 的此实现是基于 astream_log 构建的。

产生 (Yields)

StreamEvents 的异步流。

引发 (Raises)

NotImplementedError – 如果版本不是 v1 或 v2。

返回类型 (Return type)

AsyncIterator[Union[StandardStreamEvent, CustomStreamEvent]]

batch(inputs: List[Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]]], config: Optional[Union[RunnableConfig, List[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Any) → List[str]¶

默认实现使用线程池执行器并行运行 invoke。

batch 的默认实现非常适用于 IO 绑定的 runnables。(The default implementation of batch works well for IO bound runnables.)

如果子类可以更有效地进行批量处理，则应覆盖此方法；例如，如果底层 Runnable 使用支持批量模式的 API。(Subclasses should override this method if they can batch more efficiently; e.g., if the underlying Runnable uses an API which supports a batch mode.)

参数 (Parameters)

inputs (List[Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]]]) –
config (Optional[Union[RunnableConfig, List[RunnableConfig]]]) –
return_exceptions (bool) –
kwargs (Any) –

返回类型 (Return type)

List[str]

batch_as_completed(inputs: Sequence[Input], config: Optional[Union[RunnableConfig, Sequence[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → Iterator[Tuple[int, Union[Output, Exception]]]¶

在一系列输入上并行运行 invoke，并在结果完成时产生结果。

参数 (Parameters)

inputs (Sequence[Input]) –
config (Optional[Union[RunnableConfig, Sequence[RunnableConfig]]]) –
return_exceptions (bool) –
kwargs (Optional[Any]) –

返回类型 (Return type)

Iterator[Tuple[int, Union[Output, Exception]]]

configurable_alternatives(which: ConfigurableField, *, default_key: str = 'default', prefix_keys: bool = False, **kwargs: Union[Runnable[Input, Output], Callable[[], Runnable[Input, Output]]]) → RunnableSerializable[Input, Output]¶

配置可以在运行时设置的 Runnable 对象的备选项。

参数 (Parameters)

which (ConfigurableField) – 将用于选择备选项的 ConfigurableField 实例。
default_key (str) – 如果未选择任何备选项，则使用的默认键。默认为“default”。
prefix_keys (bool) – 是否用 ConfigurableField id 作为键的前缀。默认为 False。
**kwargs (Union[Runnable[Input, Output], Callable[[], Runnable[Input, Output]]]) – 键到 Runnable 实例或返回 Runnable 实例的可调用对象的字典。

返回 (Returns)

配置了备选项的新 Runnable 对象。

返回类型 (Return type)

RunnableSerializable[Input, Output]

from langchain_anthropic import ChatAnthropic
from langchain_core.runnables.utils import ConfigurableField
from langchain_openai import ChatOpenAI

model = ChatAnthropic(
    model_name="claude-3-sonnet-20240229"
).configurable_alternatives(
    ConfigurableField(id="llm"),
    default_key="anthropic",
    openai=ChatOpenAI()
)

# uses the default model ChatAnthropic
print(model.invoke("which organization created you?").content)

# uses ChatOpenAI
print(
    model.with_config(
        configurable={"llm": "openai"}
    ).invoke("which organization created you?").content
)

configurable_fields(**kwargs: Union[ConfigurableField, ConfigurableFieldSingleOption, ConfigurableFieldMultiOption]) → RunnableSerializable[Input, Output]¶

在运行时配置特定的 Runnable 字段。

参数 (Parameters): **kwargs (Union[ConfigurableField, ConfigurableFieldSingleOption, ConfigurableFieldMultiOption]) – 要配置的 ConfigurableField 实例的字典。
返回 (Returns): 配置了字段的新 Runnable 对象。
返回类型 (Return type): RunnableSerializable[Input, Output]

from langchain_core.runnables import ConfigurableField
from langchain_openai import ChatOpenAI

model = ChatOpenAI(max_tokens=20).configurable_fields(
    max_tokens=ConfigurableField(
        id="output_token_number",
        name="Max tokens in the output",
        description="The maximum number of tokens in the output",
    )
)

# max_tokens = 20
print(
    "max_tokens_20: ",
    model.invoke("tell me something about chess").content
)

# max_tokens = 200
print("max_tokens_200: ", model.with_config(
    configurable={"output_token_number": 200}
    ).invoke("tell me something about chess").content
)

generate(prompts: List[str], stop: Optional[List[str]] = None, callbacks: Union[List[BaseCallbackHandler], BaseCallbackManager, None, List[Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]]] = None, *, tags: Optional[Union[List[str], List[List[str]]]] = None, metadata: Optional[Union[Dict[str, Any], List[Dict[str, Any]]]] = None, run_name: Optional[Union[str, List[str]]] = None, run_id: Optional[Union[UUID, List[Optional[UUID]]]] = None, **kwargs: Any) → LLMResult¶

将一系列提示传递给模型并返回生成结果。

此方法应针对公开批量 API 的模型使用批量调用。

当您想要

利用批量调用时，
需要从模型获得比仅仅最佳生成值更多的输出时，
构建与底层语言模型无关的链时，
类型（例如，纯文本补全模型与聊天模型）。

参数 (Parameters)

prompts (List[str]) – 字符串提示列表。
stop (Optional[List[str]]) – 生成时使用的停止词。模型输出在首次出现任何这些子字符串时被截断。(Stop words to use when generating. Model output is cut off at the first occurrence of any of these substrings.)
callbacks (Union[List[BaseCallbackHandler], BaseCallbackManager, None, List[Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]]]) – 要传递的回调函数。用于在整个生成过程中执行额外的功能，例如日志记录或流式传输。
tags (Optional[Union[List[str], List[List[str]]]]) – 与每个提示关联的标签列表。如果提供，列表的长度必须与提示列表的长度匹配。
metadata (Optional[Union[Dict[str, Any], List[Dict[str, Any]]]]) – 与每个提示关联的元数据字典列表。如果提供，列表的长度必须与提示列表的长度匹配。
run_name (Optional[Union[str, List[str]]]) – 与每个提示关联的运行名称列表。如果提供，列表的长度必须与提示列表的长度匹配。
run_id (Optional[Union[UUID, List[Optional[UUID]]]]) – 与每个提示关联的运行 ID 列表。如果提供，列表的长度必须与提示列表的长度匹配。
**kwargs (Any) – 任意额外的关键字参数。这些通常传递给模型提供商 API 调用。(Arbitrary additional keyword arguments. These are usually passed to the model provider API call.)

返回 (Returns)

一个 LLMResult 对象，其中包含每个输入的候选生成结果列表: 提示以及模型提供商特定的额外输出。

返回类型 (Return type)

LLMResult

generate_prompt(prompts: List[PromptValue], stop: Optional[List[str]] = None, callbacks: Union[List[BaseCallbackHandler], BaseCallbackManager, None, List[Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]]] = None, **kwargs: Any) → LLMResult¶

将一系列提示传递给模型并返回模型生成结果。

此方法应针对公开批量 API 的模型使用批量调用。

当您想要

利用批量调用时，
需要从模型获得比仅仅最佳生成值更多的输出时，
构建与底层语言模型无关的链时，
类型（例如，纯文本补全模型与聊天模型）。

参数 (Parameters)

prompts (List[PromptValue]) – PromptValue 对象列表。 PromptValue 是一个可以转换为匹配任何语言模型格式的对象（纯文本生成模型的字符串和聊天模型的 BaseMessages）。
stop (Optional[List[str]]) – 生成时使用的停止词。模型输出在首次出现任何这些子字符串时被截断。(Stop words to use when generating. Model output is cut off at the first occurrence of any of these substrings.)
callbacks (Union[List[BaseCallbackHandler], BaseCallbackManager, None, List[Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]]]) – 要传递的回调函数。用于在整个生成过程中执行额外的功能，例如日志记录或流式传输。
**kwargs (Any) – 任意额外的关键字参数。这些通常传递给模型提供商 API 调用。(Arbitrary additional keyword arguments. These are usually passed to the model provider API call.)

返回 (Returns)

一个 LLMResult 对象，其中包含每个输入的候选生成结果列表: 提示以及模型提供商特定的额外输出。

返回类型 (Return type)

LLMResult

get_num_tokens(text: str) → int¶

获取文本中存在的 token 数量。

用于检查输入是否适合模型的上下文窗口。

参数 (Parameters): text (str) – 要分词的字符串输入。
返回 (Returns): 文本中的整数 token 数量。
返回类型 (Return type): int

get_num_tokens_from_messages(messages: List[BaseMessage]) → int¶

获取消息中的 token 数量。

用于检查输入是否适合模型的上下文窗口。

参数 (Parameters): messages (List[BaseMessage]) – 要分词的消息输入。
返回 (Returns): 消息中 token 数量的总和。
返回类型 (Return type): int

get_token_ids(text: str) → List[int]¶

返回文本中 token 的有序 ID。

参数 (Parameters)

text (str) – 要分词的字符串输入。

返回 (Returns)

与文本中的 token 相对应的 ID 列表，按它们在文本中出现的顺序排列。: 在文本中。

返回类型 (Return type)

List[int]

invoke(input: Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], config: Optional[RunnableConfig] = None, *, stop: Optional[List[str]] = None, **kwargs: Any) → str¶

将单个输入转换为输出。覆盖以实现。

参数 (Parameters)

input (Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]]) – Runnable 的输入。
config (可选[RunnableConfig]) – 调用 Runnable 时使用的配置项（可选）。此配置项支持标准键，例如用于追踪目的的 ‘tags’ 和 ‘metadata’，用于控制并行工作量的 ‘max_concurrency’，以及其他键。请参阅 RunnableConfig 以了解更多详情。
stop (Optional[List[str]]) –
kwargs (Any) –

返回 (Returns)

Runnable 的输出。

返回类型 (Return type)

str

predict(text: str, *, stop: Optional[Sequence[str]] = None, **kwargs: Any) → str¶

Deprecated since version langchain-core==0.1.7: 请使用 invoke 代替。(Use invoke instead.)

参数 (Parameters)

text (str) –
stop (Optional[Sequence[str]]) –
kwargs (Any) –

返回类型 (Return type)

str

predict_messages(messages: List[BaseMessage], *, stop: Optional[Sequence[str]] = None, **kwargs: Any) → BaseMessage¶

Deprecated since version langchain-core==0.1.7: 请使用 invoke 代替。(Use invoke instead.)

参数 (Parameters)

messages (List[BaseMessage]) –
stop (Optional[Sequence[str]]) –
kwargs (Any) –

返回类型 (Return type)

BaseMessage

save(file_path: Union[Path, str]) → None¶

保存 LLM。

参数 (Parameters): file_path (Union[Path, str]) – 用于保存 LLM 的文件路径。
引发 (Raises): ValueError – 如果文件路径不是字符串或 Path 对象，则抛出此错误。
返回类型 (Return type): None

示例： .. code-block:: python

llm.save(file_path=”path/llm.yaml”)

stream(input: Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], config: Optional[RunnableConfig] = None, *, stop: Optional[List[str]] = None, **kwargs: Any) → Iterator[str]¶

流式处理的默认实现，它会调用 invoke 方法。如果子类支持流式输出，则应重写此方法。

参数 (Parameters)

input (Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]]) – Runnable 的输入。
config (Optional[RunnableConfig]) – 用于 Runnable 的配置。默认为 None。
kwargs (Any) – 要传递给 Runnable 的其他关键字参数。(Additional keyword arguments to pass to the Runnable.)
stop (Optional[List[str]]) –

产生 (Yields)

Runnable 的输出。

返回类型 (Return type)

Iterator[str]

to_json() → Union[SerializedConstructor, SerializedNotImplemented]¶

将 Runnable 序列化为 JSON 格式。

返回 (Returns): Runnable 的 JSON 可序列化表示形式。
返回类型 (Return type): Union[SerializedConstructor, SerializedNotImplemented]

with_structured_output(schema: Union[Dict, Type[BaseModel]], **kwargs: Any) → Runnable[Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], Union[Dict, BaseModel]]¶

在此类中未实现。

参数 (Parameters)

schema (Union[Dict, Type[BaseModel]]) –
kwargs (Any) –

返回类型 (Return type)

Runnable[Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], Union[Dict, BaseModel]]

langchain_community.llms.baidu_qianfan_endpoint.QianfanLLMEndpoint¶

QianfanLLMEndpoint 的使用示例¶

`langchain_community.llms.baidu_qianfan_endpoint`.QianfanLLMEndpoint¶