`langchain.evaluation.criteria.eval_chain`.CriteriaEvalChain¶

注意

CriteriaEvalChain 实现了标准的 Runnable 接口。 🏃

Runnable 接口 还有其他在 runnables 上可用的方法，例如 with_types, with_retry, assign, bind, get_graph, 等等。

class langchain.evaluation.criteria.eval_chain.CriteriaEvalChain[source]¶

基类： StringEvaluator, LLMEvalChain, LLMChain

用于根据标准评估运行的 LLM 链。

参数

llm (BaseLanguageModel) – 用于评估的语言模型。
criteria (Union[Mapping[str, str]]) – 用于评估运行的标准或规则。它可以是标准名称到其描述的映射，或单个标准名称。
prompt (Optional[BasePromptTemplate], default=None) – 用于生成提示的提示模板。如果未提供，则将根据 requires_reference 的值使用默认提示模板。
requires_reference (bool, default=False) – 评估是否需要参考文本。如果为 True，则将使用 PROMPT_WITH_REFERENCES 模板，该模板在提示中包含参考标签。否则，将使用 PROMPT 模板，这是一个无参考的提示。
**kwargs (Any) – 传递给 LLMChain 构造函数的其他关键字参数。

返回

CriteriaEvalChain 类的实例。

返回类型

CriteriaEvalChain

示例

>>> from langchain_anthropic import ChatAnthropic
>>> from langchain.evaluation.criteria import CriteriaEvalChain
>>> llm = ChatAnthropic(temperature=0)
>>> criteria = {"my-custom-criterion": "Is the submission the most amazing ever?"}
>>> evaluator = CriteriaEvalChain.from_llm(llm=llm, criteria=criteria)
>>> evaluator.evaluate_strings(prediction="Imagine an ice cream flavor for the color aquamarine", input="Tell me an idea")
{
    'reasoning': 'Here is my step-by-step reasoning for the given criteria:\n\nThe criterion is: "Is the submission the most amazing ever?" This is a subjective criterion and open to interpretation. The submission suggests an aquamarine-colored ice cream flavor which is creative but may or may not be considered the most amazing idea ever conceived. There are many possible amazing ideas and this one ice cream flavor suggestion may or may not rise to that level for every person. \n\nN',
    'value': 'N',
    'score': 0,
}

>>> from langchain_openai import ChatOpenAI
>>> from langchain.evaluation.criteria import LabeledCriteriaEvalChain
>>> llm = ChatOpenAI(model="gpt-4", temperature=0)
>>> criteria = "correctness"
>>> evaluator = LabeledCriteriaEvalChain.from_llm(
...     llm=llm,
...     criteria=criteria,
... )
>>> evaluator.evaluate_strings(
...   prediction="The answer is 4",
...   input="How many apples are there?",
...   reference="There are 3 apples",
...   )
{
    'score': 0,
    'reasoning': 'The criterion for this task is the correctness of the submission. The submission states that there are 4 apples, but the reference indicates that there are actually 3 apples. Therefore, the submission is not correct, accurate, or factual according to the given criterion.\n\nN',
    'value': 'N',
}

param callback_manager: Optional[BaseCallbackManager] = None¶: [已弃用] 请改用 callbacks。

param callbacks: Callbacks = None¶: 回调处理程序（或回调管理器）的可选列表。默认为 None。回调处理程序在链调用的生命周期中被调用，从 on_chain_start 开始，到 on_chain_end 或 on_chain_error 结束。每个自定义链可以选择性地调用额外的回调方法，请参阅回调文档以获取完整详细信息。

param criterion_name: str [必填]¶: 正在评估的标准名称。

param llm: Union[Runnable[LanguageModelInput, str], Runnable[LanguageModelInput, BaseMessage]] [必填]¶: 要调用的语言模型。

param llm_kwargs: dict [可选]¶

param memory: Optional[BaseMemory] = None¶: 可选的内存对象。默认为 None。内存是一个在每个链的开始和结束时被调用的类。在开始时，内存加载变量并在链中传递它们。在结束时，它保存任何返回的变量。有许多不同类型的内存 - 请参阅内存文档以获取完整目录。

param metadata: Optional[Dict[str, Any]] = None¶: 与链关联的可选元数据。默认为 None。此元数据将与对此链的每次调用关联，并作为参数传递给 callbacks 中处理程序。您可以使用这些来识别链的特定实例及其用例。

param output_parser: BaseOutputParser [可选]¶: 用于将输出映射到结构化结果的解析器。

param prompt: BasePromptTemplate [必填]¶: 要使用的 Prompt 对象。

param return_final_only: bool = True¶: 是否仅返回最终解析结果。默认为 True。如果为 false，将返回有关生成的一堆额外信息。

param tags: Optional[List[str]] = None¶: 与链关联的可选标签列表。默认为 None。这些标签将与对此链的每次调用关联，并作为参数传递给 callbacks 中定义的处理程序。您可以使用这些来识别链的特定实例及其用例。

param verbose: bool [可选]¶: 是否在 verbose 模式下运行。在 verbose 模式下，一些中间日志将打印到控制台。默认为全局 verbose 值，可通过 langchain.globals.get_verbose() 访问。

__call__(inputs: Union[Dict[str, Any], Any], return_only_outputs: bool = False, callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, *, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, run_name: Optional[str] = None, include_run_info: bool = False) → Dict[str, Any]¶

Deprecated since version langchain==0.1.0: 使用 invoke 代替。

执行链。

参数

inputs (Union[Dict[str, Any], Any]) – 输入字典，或单个输入（如果链仅期望一个参数）。应包含 Chain.input_keys 中指定的所有输入，但将由链的内存设置的输入除外。
return_only_outputs (bool) – 是否仅在响应中返回输出。如果为 True，则仅返回由此链生成的新键。如果为 False，则将返回输入键和由此链生成的新键。默认为 False。
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 用于此链运行的回调。这些回调将添加到构造期间传递给链的回调之外被调用，但只有这些运行时回调将传播到对其他对象的调用。
tags (Optional[List[str]]) – 要传递给所有回调的字符串标签列表。这些标签将添加到构造期间传递给链的标签之外被传递，但只有这些运行时标签将传播到对其他对象的调用。
metadata (Optional[Dict[str, Any]]) – 与链关联的可选元数据。默认为 None
include_run_info (bool) – 是否在响应中包含运行信息。默认为 False。
run_name (Optional[str]) –

返回

命名输出的字典。应包含中指定的所有输出: Chain.output_keys.

返回类型

Dict[str, Any]

async aapply(input_list: List[Dict[str, Any]], callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None) → List[Dict[str, str]]¶

利用 LLM 生成方法来提高速度。

参数

input_list (List[Dict[str, Any]]) –
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) –

返回类型

List[Dict[str, str]]

async aapply_and_parse(input_list: List[Dict[str, Any]], callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None) → Sequence[Union[str, List[str], Dict[str, str]]]¶

调用 apply，然后解析结果。

参数

input_list (List[Dict[str, Any]]) –
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) –

返回类型

Sequence[Union[str, List[str], Dict[str, str]]]

async abatch(inputs: List[Input], config: Optional[Union[RunnableConfig, List[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → List[Output]¶

默认实现使用 asyncio.gather 并行运行 ainvoke。

批处理的默认实现对于 IO 绑定的 runnable 效果良好。

如果子类可以更有效地进行批处理，则应重写此方法；例如，如果底层的 Runnable 使用支持批处理模式的 API。

参数

inputs (List[Input]) – Runnable 的输入列表。
config (Optional[Union[RunnableConfig, List[RunnableConfig]]]) – 调用 Runnable 时要使用的配置。该配置支持标准键，如用于跟踪目的的“tags”、“metadata”，用于控制并行执行多少工作的“max_concurrency”以及其他键。有关更多详细信息，请参阅 RunnableConfig。默认为 None。
return_exceptions (bool) – 是否返回异常而不是引发异常。默认为 False。
kwargs (Optional[Any]) – 要传递给 Runnable 的其他关键字参数。

返回

来自 Runnable 的输出列表。

返回类型

List[Output]

async abatch_as_completed(inputs: Sequence[Input], config: Optional[Union[RunnableConfig, Sequence[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → AsyncIterator[Tuple[int, Union[Output, Exception]]]¶

并行地对输入列表运行 ainovke，并在完成时产生结果。

参数

inputs (Sequence[Input]) – Runnable 的输入列表。
config (Optional[Union[RunnableConfig, Sequence[RunnableConfig]]]) – 调用 Runnable 时使用的配置。该配置支持标准键，如用于跟踪目的的 ‘tags’、‘metadata’，用于控制并行执行量的 ‘max_concurrency’，以及其他键。请参阅 RunnableConfig 以了解更多详细信息。默认为 None。默认为 None。
return_exceptions (bool) – 是否返回异常而不是引发异常。默认为 False。
kwargs (Optional[Any]) – 要传递给 Runnable 的其他关键字参数。

Yields

一个元组，包含输入的索引和来自 Runnable 的输出。

返回类型

AsyncIterator[Tuple[int, Union[Output, Exception]]]

async acall(inputs: Union[Dict[str, Any], Any], return_only_outputs: bool = False, callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, *, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, run_name: Optional[str] = None, include_run_info: bool = False) → Dict[str, Any]¶

Deprecated since version langchain==0.1.0: 请使用 ainvoke 代替。

异步执行链。

参数

inputs (Union[Dict[str, Any], Any]) – 输入字典，或单个输入（如果链仅期望一个参数）。应包含 Chain.input_keys 中指定的所有输入，但将由链的内存设置的输入除外。
return_only_outputs (bool) – 是否仅在响应中返回输出。如果为 True，则仅返回由此链生成的新键。如果为 False，则将返回输入键和由此链生成的新键。默认为 False。
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 用于此链运行的回调。这些回调将添加到构造期间传递给链的回调之外被调用，但只有这些运行时回调将传播到对其他对象的调用。
tags (Optional[List[str]]) – 要传递给所有回调的字符串标签列表。这些标签将添加到构造期间传递给链的标签之外被传递，但只有这些运行时标签将传播到对其他对象的调用。
metadata (Optional[Dict[str, Any]]) – 与链关联的可选元数据。默认为 None
include_run_info (bool) – 是否在响应中包含运行信息。默认为 False。
run_name (Optional[str]) –

返回

命名输出的字典。应包含中指定的所有输出: Chain.output_keys.

返回类型

Dict[str, Any]

async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict¶

基于可选的输入和标签，异步评估 Chain 或 LLM 输出。

参数

prediction (str) – 要评估的 LLM 或链预测结果。
reference (Optional[str], optional) – 用于评估的参考标签。
input (Optional[str], optional) – 评估期间要考虑的输入。
kwargs (Any) – 额外的关键词参数，包括回调、标签等。

返回

包含分数或值的评估结果。

返回类型

dict

async agenerate(input_list: List[Dict[str, Any]], run_manager: Optional[AsyncCallbackManagerForChainRun] = None) → LLMResult¶

从输入生成 LLM 结果。

参数

input_list (List[Dict[str, Any]]) –
run_manager (Optional[AsyncCallbackManagerForChainRun]) –

返回类型

LLMResult

async ainvoke(input: Dict[str, Any], config: Optional[RunnableConfig] = None, **kwargs: Any) → Dict[str, Any]¶

ainvoke 的默认实现，从线程中调用 invoke。

即使 Runnable 没有实现 invoke 的原生异步版本，默认实现也允许使用异步代码。

如果子类可以异步运行，则应覆盖此方法。

参数

input (Dict[str, Any]) –
config (Optional[RunnableConfig]) –
kwargs (Any) –

返回类型

Dict[str, Any]

apply(input_list: List[Dict[str, Any]], callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None) → List[Dict[str, str]]¶

利用 LLM 生成方法来提高速度。

参数

input_list (List[Dict[str, Any]]) –
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) –

返回类型

List[Dict[str, str]]

apply_and_parse(input_list: List[Dict[str, Any]], callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None) → Sequence[Union[str, List[str], Dict[str, str]]]¶

调用 apply，然后解析结果。

参数

input_list (List[Dict[str, Any]]) –
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) –

返回类型

Sequence[Union[str, List[str], Dict[str, str]]]

async apredict(callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, **kwargs: Any) → str¶

使用 kwargs 格式化提示，并传递给 LLM。

参数

callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 要传递给 LLMChain 的回调
**kwargs (Any) – 要传递给提示模板的键。

返回

来自 LLM 的完成结果。

返回类型

str

示例

completion = llm.predict(adjective="funny")

async apredict_and_parse(callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, **kwargs: Any) → Union[str, List[str], Dict[str, str]]¶

调用 apredict 然后解析结果。

参数

callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) –
kwargs (Any) –

返回类型

Union[str, List[str], Dict[str, str]]

async aprep_inputs(inputs: Union[Dict[str, Any], Any]) → Dict[str, str]¶

准备链输入，包括从内存添加输入。

参数: inputs (Union[Dict[str, Any], Any]) – 原始输入字典，或者如果链只接受一个参数，则为单个输入。应包含 Chain.input_keys 中指定的所有输入，但链的内存将设置的输入除外。
返回: 包含所有输入的字典，包括链的内存添加的输入。
返回类型: Dict[str, str]

async aprep_outputs(inputs: Dict[str, str], outputs: Dict[str, str], return_only_outputs: bool = False) → Dict[str, str]¶

验证和准备链输出，并将有关此运行的信息保存到内存中。

参数

inputs (Dict[str, str]) – 链输入字典，包括链内存添加的任何输入。
outputs (Dict[str, str]) – 初始链输出字典。
return_only_outputs (bool) – 是否仅返回链输出。如果为 False，则输入也会添加到最终输出中。

返回

最终链输出的字典。

返回类型

Dict[str, str]

async aprep_prompts(input_list: List[Dict[str, Any]], run_manager: Optional[AsyncCallbackManagerForChainRun] = None) → Tuple[List[PromptValue], Optional[List[str]]]¶

从输入准备提示。

参数

input_list (List[Dict[str, Any]]) –
run_manager (Optional[AsyncCallbackManagerForChainRun]) –

返回类型

Tuple[List[PromptValue], Optional[List[str]]]

async arun(*args: Any, callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any¶

Deprecated since version langchain==0.1.0: 请使用 ainvoke 代替。

用于执行链的便捷方法。

此方法和 Chain.__call__ 之间的主要区别在于，此方法期望输入作为位置参数或关键词参数直接传入，而 Chain.__call__ 期望单个输入字典包含所有输入

参数

*args (Any) – 如果链期望单个输入，则可以作为唯一的位置参数传入。
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 用于此链运行的回调。这些回调将添加到构造期间传递给链的回调之外被调用，但只有这些运行时回调将传播到对其他对象的调用。
tags (Optional[List[str]]) – 要传递给所有回调的字符串标签列表。这些标签将添加到构造期间传递给链的标签之外被传递，但只有这些运行时标签将传播到对其他对象的调用。
**kwargs (Any) – 如果链期望多个输入，则可以直接作为关键词参数传入。
metadata (Optional[Dict[str, Any]]) –
**kwargs –

返回

链输出。

返回类型

Any

示例

# Suppose we have a single-input chain that takes a 'question' string:
await chain.arun("What's the temperature in Boise, Idaho?")
# -> "The temperature in Boise is..."

# Suppose we have a multi-input chain that takes a 'question' string
# and 'context' string:
question = "What's the temperature in Boise, Idaho?"
context = "Weather report for Boise, Idaho on 07/03/23..."
await chain.arun(question=question, context=context)
# -> "The temperature in Boise is..."

as_tool(args_schema: Optional[Type[BaseModel]] = None, *, name: Optional[str] = None, description: Optional[str] = None, arg_types: Optional[Dict[str, Type]] = None) → BaseTool¶

Beta

此 API 处于 beta 阶段，未来可能会发生变化。

从 Runnable 创建 BaseTool。

as_tool 将从 Runnable 实例化一个 BaseTool，其中包含名称、描述和 args_schema。args_schema 尽可能从 runnable.get_input_schema 推断。或者（例如，如果 Runnable 接受 dict 作为输入，并且未对特定的 dict 键进行类型化），则可以直接使用 args_schema 指定 schema。您还可以传递 arg_types 以仅指定必需的参数及其类型。

参数

args_schema (Optional[Type[BaseModel]]) – 工具的 schema。默认为 None。
name (Optional[str]) – 工具的名称。默认为 None。
description (Optional[str]) – 工具的描述。默认为 None。
arg_types (Optional[Dict[str, Type]]) – 参数名称到类型的字典。默认为 None。

返回

一个 BaseTool 实例。

返回类型

BaseTool

Typed dict input (类型化字典输入)

from typing import List
from typing_extensions import TypedDict
from langchain_core.runnables import RunnableLambda

class Args(TypedDict):
    a: int
    b: List[int]

def f(x: Args) -> str:
    return str(x["a"] * max(x["b"]))

runnable = RunnableLambda(f)
as_tool = runnable.as_tool()
as_tool.invoke({"a": 3, "b": [1, 2]})

dict 输入，通过 args_schema 指定 schema

from typing import Any, Dict, List
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.runnables import RunnableLambda

def f(x: Dict[str, Any]) -> str:
    return str(x["a"] * max(x["b"]))

class FSchema(BaseModel):
    """Apply a function to an integer and list of integers."""

    a: int = Field(..., description="Integer")
    b: List[int] = Field(..., description="List of ints")

runnable = RunnableLambda(f)
as_tool = runnable.as_tool(FSchema)
as_tool.invoke({"a": 3, "b": [1, 2]})

dict 输入，通过 arg_types 指定 schema

from typing import Any, Dict, List
from langchain_core.runnables import RunnableLambda

def f(x: Dict[str, Any]) -> str:
    return str(x["a"] * max(x["b"]))

runnable = RunnableLambda(f)
as_tool = runnable.as_tool(arg_types={"a": int, "b": List[int]})
as_tool.invoke({"a": 3, "b": [1, 2]})

String input (字符串输入)

from langchain_core.runnables import RunnableLambda

def f(x: str) -> str:
    return x + "a"

def g(x: str) -> str:
    return x + "z"

runnable = RunnableLambda(f) | g
as_tool = runnable.as_tool()
as_tool.invoke("b")

0.2.14 版本新增。

async astream(input: Input, config: Optional[RunnableConfig] = None, **kwargs: Optional[Any]) → AsyncIterator[Output]¶

astream 的默认实现，它调用 ainvoke。如果子类支持流式输出，则应覆盖此方法。

参数

input (Input) – Runnable 的输入。
config (Optional[RunnableConfig]) – 用于 Runnable 的配置。默认为 None。
kwargs (Optional[Any]) – 要传递给 Runnable 的其他关键字参数。

Yields

Runnable 的输出。

返回类型

AsyncIterator[Output]

astream_events(input: Any, config: Optional[RunnableConfig] = None, *, version: Literal['v1', 'v2'], include_names: Optional[Sequence[str]] = None, include_types: Optional[Sequence[str]] = None, include_tags: Optional[Sequence[str]] = None, exclude_names: Optional[Sequence[str]] = None, exclude_types">: Optional[Sequence[str]] = None, exclude_tags: Optional[Sequence[str]] = None, **kwargs: Any) → AsyncIterator[Union[StandardStreamEvent, CustomStreamEvent]]¶

Beta

此 API 处于 beta 阶段，未来可能会发生变化。

生成事件流。

用于创建 StreamEvents 的迭代器，该迭代器提供关于 Runnable 进度的实时信息，包括来自中间结果的 StreamEvents。

StreamEvent 是一个具有以下 schema 的字典

event: str - 事件名称的格式为：
format: on_[runnable_type]_(start|stream|end)。
name: str - 生成事件的 Runnable 的名称。
run_id: str - 随机生成的 ID，与给定 Runnable 执行相关联，该 Runnable 发出事件。作为父 Runnable 执行一部分调用的子 Runnable 将被分配其自己的唯一 ID。
Runnable 发出事件的给定执行的关联随机生成 ID。作为父 Runnable 执行一部分调用的子 Runnable 将被分配其自己的唯一 ID。
parent_ids: List[str] - 生成事件的父 runnable 的 ID 列表。根 Runnable 将具有空列表。父 ID 的顺序是从根到直接父级。仅适用于 API 的 v2 版本。API 的 v1 版本将返回一个空列表。
生成的事件。根 Runnable 将具有空列表。父 ID 的顺序是从根到直接父级。仅适用于 API 的 v2 版本。API 的 v1 版本将返回一个空列表。
tags: Optional[List[str]] - 生成事件的 Runnable 的标签。
事件。
metadata: Optional[Dict[str, Any]] - 生成事件的 Runnable 的元数据。
事件。
data: Dict[str, Any]

下面是一个表格，说明了各种链可能发出的一些事件。为了简洁起见，元数据字段已从表格中省略。链定义已包含在表格之后。

注意此参考表适用于 schema 的 V2 版本。

event	name	chunk	input	output
on_chat_model_start	[模型名称]		{“messages”: [[SystemMessage, HumanMessage]]}
on_chat_model_stream	[模型名称]	AIMessageChunk(content=”hello”)
on_chat_model_end	[模型名称]		{“messages”: [[SystemMessage, HumanMessage]]}	AIMessageChunk(content=”hello world”)
on_llm_start	[模型名称]		{‘input’: ‘hello’}
on_llm_stream	[模型名称]	‘Hello’
on_llm_end	[模型名称]		‘Hello human!’
on_chain_start	format_docs
on_chain_stream	format_docs	“hello world!, goodbye world!”
on_chain_end	format_docs		[Document(…)]	“hello world!, goodbye world!”
on_tool_start	some_tool		{“x”: 1, “y”: “2”}
on_tool_end	some_tool			{“x”: 1, “y”: “2”}
on_retriever_start	[检索器名称]		{“query”: “hello”}
on_retriever_end	[检索器名称]		{“query”: “hello”}	[Document(…), ..]
on_prompt_start	[模板名称]		{“question”: “hello”}
on_prompt_end	[模板名称]		{“question”: “hello”}	ChatPromptValue(messages: [SystemMessage, …])

除了标准事件之外，用户还可以调度自定义事件（参见下面的示例）。

自定义事件将仅在 API 的 v2 版本中显示！

自定义事件具有以下格式

属性	类型	描述
name	str	事件的用户定义名称。
data	Any	与事件关联的数据。这可以是任何内容，但我们建议使其可 JSON 序列化。

以下是与上面显示的标准事件关联的声明

format_docs:

def format_docs(docs: List[Document]) -> str:
    '''Format the docs.'''
    return ", ".join([doc.page_content for doc in docs])

format_docs = RunnableLambda(format_docs)

some_tool:

@tool
def some_tool(x: int, y: str) -> dict:
    '''Some_tool.'''
    return {"x": x, "y": y}

prompt:

template = ChatPromptTemplate.from_messages(
    [("system", "You are Cat Agent 007"), ("human", "{question}")]
).with_config({"run_name": "my_template", "tags": ["my_template"]})

示例

from langchain_core.runnables import RunnableLambda

async def reverse(s: str) -> str:
    return s[::-1]

chain = RunnableLambda(func=reverse)

events = [
    event async for event in chain.astream_events("hello", version="v2")
]

# will produce the following events (run_id, and parent_ids
# has been omitted for brevity):
[
    {
        "data": {"input": "hello"},
        "event": "on_chain_start",
        "metadata": {},
        "name": "reverse",
        "tags": [],
    },
    {
        "data": {"chunk": "olleh"},
        "event": "on_chain_stream",
        "metadata": {},
        "name": "reverse",
        "tags": [],
    },
    {
        "data": {"output": "olleh"},
        "event": "on_chain_end",
        "metadata": {},
        "name": "reverse",
        "tags": [],
    },
]

示例：调度自定义事件

from langchain_core.callbacks.manager import (
    adispatch_custom_event,
)
from langchain_core.runnables import RunnableLambda, RunnableConfig
import asyncio


async def slow_thing(some_input: str, config: RunnableConfig) -> str:
    """Do something that takes a long time."""
    await asyncio.sleep(1) # Placeholder for some slow operation
    await adispatch_custom_event(
        "progress_event",
        {"message": "Finished step 1 of 3"},
        config=config # Must be included for python < 3.10
    )
    await asyncio.sleep(1) # Placeholder for some slow operation
    await adispatch_custom_event(
        "progress_event",
        {"message": "Finished step 2 of 3"},
        config=config # Must be included for python < 3.10
    )
    await asyncio.sleep(1) # Placeholder for some slow operation
    return "Done"

slow_thing = RunnableLambda(slow_thing)

async for event in slow_thing.astream_events("some_input", version="v2"):
    print(event)

参数

input (Any) – Runnable 的输入。
config (Optional[RunnableConfig]) – 用于 Runnable 的配置。
version (Literal['v1', 'v2']) – 要使用的 schema 版本，可以是 v2 或 v1。用户应使用 v2。v1 用于向后兼容，将在 0.4.0 中弃用。在 API 稳定之前，不会分配默认值。自定义事件将仅在 v2 中显示。
include_names (Optional[Sequence[str]]) – 仅包括来自具有匹配名称的 runnable 的事件。
include_types (Optional[Sequence[str]]) – 仅包括来自具有匹配类型的 runnable 的事件。
include_tags (Optional[Sequence[str]]) – 仅包括来自具有匹配标签的 runnable 的事件。
exclude_names (Optional[Sequence[str]]) – 排除来自具有匹配名称的 runnable 的事件。
exclude_types (Optional[Sequence[str]]) – 排除来自具有匹配类型的 runnable 的事件。
exclude_tags (Optional[Sequence[str]]) – 排除来自具有匹配标签的 runnable 的事件。
kwargs (Any) – 要传递给 Runnable 的其他关键字参数。这些将传递给 astream_log，因为 astream_events 的此实现构建在 astream_log 之上。

Yields

StreamEvents 的异步流。

Raises

NotImplementedError – 如果版本不是 v1 或 v2。

返回类型

AsyncIterator[Union[StandardStreamEvent, CustomStreamEvent]]

batch(inputs: List[Input], config: Optional[Union[RunnableConfig, List[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → List[Output]¶

默认实现使用线程池执行器并行运行 invoke。

批处理的默认实现对于 IO 绑定的 runnable 效果良好。

如果子类可以更有效地进行批处理，则应重写此方法；例如，如果底层的 Runnable 使用支持批处理模式的 API。

参数

inputs (List[Input]) –
config (Optional[Union[RunnableConfig, List[RunnableConfig]]]) –
return_exceptions (bool) –
kwargs (Optional[Any]) –

返回类型

List[Output]

batch_as_completed(inputs: Sequence[Input], config: Optional[Union[RunnableConfig, Sequence[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → Iterator[Tuple[int, Union[Output, Exception]]]¶

并行运行列表中输入的 invoke，并在完成时生成结果。

参数

inputs (Sequence[Input]) –
config (Optional[Union[RunnableConfig, Sequence[RunnableConfig]]]) –
return_exceptions (bool) –
kwargs (Optional[Any]) –

返回类型

Iterator[Tuple[int, Union[Output, Exception]]]

configurable_alternatives(which: ConfigurableField, *, default_key: str = 'default', prefix_keys: bool = False, **kwargs: Union[Runnable[Input, Output], Callable[[], Runnable[Input, Output]]]) → RunnableSerializable[Input, Output]¶

配置可在运行时设置的 Runnable 的备选项。

参数

which (ConfigurableField) – 将用于选择备选项的 ConfigurableField 实例。
default_key (str) – 如果未选择备选项，则使用的默认键。默认为 “default”。
prefix_keys (bool) – 是否使用 ConfigurableField id 作为键的前缀。默认为 False。
**kwargs (Union[Runnable[Input, Output], Callable[[], Runnable[Input, Output]]]) – 键到 Runnable 实例或返回 Runnable 实例的可调用对象的字典。

返回

配置了备选项的新 Runnable。

返回类型

RunnableSerializable[Input, Output]

from langchain_anthropic import ChatAnthropic
from langchain_core.runnables.utils import ConfigurableField
from langchain_openai import ChatOpenAI

model = ChatAnthropic(
    model_name="claude-3-sonnet-20240229"
).configurable_alternatives(
    ConfigurableField(id="llm"),
    default_key="anthropic",
    openai=ChatOpenAI()
)

# uses the default model ChatAnthropic
print(model.invoke("which organization created you?").content)

# uses ChatOpenAI
print(
    model.with_config(
        configurable={"llm": "openai"}
    ).invoke("which organization created you?").content
)

configurable_fields(**kwargs: Union[ConfigurableField, ConfigurableFieldSingleOption, ConfigurableFieldMultiOption]) → RunnableSerializable[Input, Output]¶

在运行时配置特定的 Runnable 字段。

参数: **kwargs (Union[ConfigurableField, ConfigurableFieldSingleOption, ConfigurableFieldMultiOption]) – 要配置的 ConfigurableField 实例的字典。
返回: 配置了字段的新 Runnable。
返回类型: RunnableSerializable[Input, Output]

from langchain_core.runnables import ConfigurableField
from langchain_openai import ChatOpenAI

model = ChatOpenAI(max_tokens=20).configurable_fields(
    max_tokens=ConfigurableField(
        id="output_token_number",
        name="Max tokens in the output",
        description="The maximum number of tokens in the output",
    )
)

# max_tokens = 20
print(
    "max_tokens_20: ",
    model.invoke("tell me something about chess").content
)

# max_tokens = 200
print("max_tokens_200: ", model.with_config(
    configurable={"output_token_number": 200}
    ).invoke("tell me something about chess").content
)

create_outputs(llm_result: LLMResult) → List[Dict[str, Any]]¶

从响应创建输出。

参数: llm_result (LLMResult) –
返回类型: List[Dict[str, Any]]

evaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict¶

基于可选的输入和标签评估 Chain 或 LLM 输出。

参数

prediction (str) – 要评估的 LLM 或链预测结果。
reference (Optional[str], optional) – 用于评估的参考标签。
input (Optional[str], optional) – 评估期间要考虑的输入。
kwargs (Any) – 额外的关键词参数，包括回调、标签等。

返回

包含分数或值的评估结果。

返回类型

dict

classmethod from_llm(llm: BaseLanguageModel, criteria: Optional[Union[Mapping[str, str], Criteria, ConstitutionalPrinciple]] = None, *, prompt: Optional[BasePromptTemplate] = None, **kwargs: Any) → CriteriaEvalChain[source]¶

从 llm 和 criteria 创建 CriteriaEvalChain 实例。

参数

llm (BaseLanguageModel) – 用于评估的语言模型。
criteria (CRITERIA_TYPE - default=None for "helpfulness") –
用于评估运行的标准。它可以是
- criterion 名称到其描述的映射
- 默认标准之一中存在的单个 criterion 名称
- 单个 ConstitutionalPrinciple 实例
prompt (Optional[BasePromptTemplate], default=None) – 用于生成 prompt 的 prompt 模板。如果未提供，将使用默认 prompt 模板。
**kwargs (Any) – 传递给 LLMChain 构造函数的其他关键字参数。

返回

CriteriaEvalChain 类的实例。

返回类型

CriteriaEvalChain

示例

>>> from langchain_openai import OpenAI
>>> from langchain.evaluation.criteria import LabeledCriteriaEvalChain
>>> llm = OpenAI()
>>> criteria = {
        "hallucination": (
            "Does this submission contain information"
            " not present in the input or reference?"
        ),
    }
>>> chain = LabeledCriteriaEvalChain.from_llm(
        llm=llm,
        criteria=criteria,
    )

classmethod from_string(llm: BaseLanguageModel, template: str) → LLMChain¶

从 LLM 和模板创建 LLMChain。

参数

llm (BaseLanguageModel) –
template (str) –

返回类型

LLMChain

generate(input_list: List[Dict[str, Any]], run_manager: Optional[CallbackManagerForChainRun] = None) → LLMResult¶

从输入生成 LLM 结果。

参数

input_list (List[Dict[str, Any]]) –
run_manager (Optional[CallbackManagerForChainRun]) –

返回类型

LLMResult

invoke(input: Dict[str, Any], config: Optional[RunnableConfig] = None, **kwargs: Any) → Dict[str, Any]¶

将单个输入转换为输出。重写以实现。

参数

input (Dict[str, Any]) – Runnable 的输入。
config (Optional[RunnableConfig]) – 调用 Runnable 时使用的配置。该配置支持标准键，如用于跟踪目的的 ‘tags’、‘metadata’，用于控制并行执行量的 ‘max_concurrency’，以及其他键。请参阅 RunnableConfig 以了解更多详细信息。
kwargs (Any) –

返回

Runnable 的输出。

返回类型

Dict[str, Any]

predict(callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, **kwargs: Any) → str¶

使用 kwargs 格式化提示，并传递给 LLM。

参数

callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 要传递给 LLMChain 的回调
**kwargs (Any) – 要传递给提示模板的键。

返回

来自 LLM 的完成结果。

返回类型

str

示例

completion = llm.predict(adjective="funny")

predict_and_parse(callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, **kwargs: Any) → Union[str, List[str], Dict[str, Any]]¶

调用 predict 然后解析结果。

参数

callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) –
kwargs (Any) –

返回类型

Union[str, List[str], Dict[str, Any]]

prep_inputs(inputs: Union[Dict[str, Any], Any]) → Dict[str, str]¶

准备链输入，包括从内存添加输入。

参数: inputs (Union[Dict[str, Any], Any]) – 原始输入字典，或者如果链只接受一个参数，则为单个输入。应包含 Chain.input_keys 中指定的所有输入，但链的内存将设置的输入除外。
返回: 包含所有输入的字典，包括链的内存添加的输入。
返回类型: Dict[str, str]

prep_outputs(inputs: Dict[str, str], outputs: Dict[str, str], return_only_outputs: bool = False) → Dict[str, str]¶

验证和准备链输出，并将有关此运行的信息保存到内存中。

参数

inputs (Dict[str, str]) – 链输入字典，包括链内存添加的任何输入。
outputs (Dict[str, str]) – 初始链输出字典。
return_only_outputs (bool) – 是否仅返回链输出。如果为 False，则输入也会添加到最终输出中。

返回

最终链输出的字典。

返回类型

Dict[str, str]

prep_prompts(input_list: List[Dict[str, Any]], run_manager: Optional[CallbackManagerForChainRun] = None) → Tuple[List[PromptValue], Optional[List[str]]]¶

从输入准备提示。

参数

input_list (List[Dict[str, Any]]) –
run_manager (Optional[CallbackManagerForChainRun]) –

返回类型

Tuple[List[PromptValue], Optional[List[str]]]

classmethod resolve_criteria(criteria: Optional[Union[Mapping[str, str], Criteria, ConstitutionalPrinciple, str]]) → Dict[str, str][source]¶

解析要评估的标准。

参数

criteria (CRITERIA_TYPE) –

用于评估运行的标准。它可以是

criterion 名称到其描述的映射
默认标准之一中存在的单个 criterion 名称
单个 ConstitutionalPrinciple 实例

返回

一个字典，将标准名称映射到描述。

返回类型

Dict[str, str]

示例

>>> criterion = "relevance"
>>> CriteriaEvalChain.resolve_criteria(criteria)
{'relevance': 'Is the submission referring to a real quote from the text?'}

run(*args: Any, callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) → Any¶

Deprecated since version langchain==0.1.0: 使用 invoke 代替。

用于执行链的便捷方法。

此方法和 Chain.__call__ 之间的主要区别在于，此方法期望输入作为位置参数或关键词参数直接传入，而 Chain.__call__ 期望单个输入字典包含所有输入

参数

*args (Any) – 如果链期望单个输入，则可以作为唯一的位置参数传入。
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 用于此链运行的回调。这些回调将添加到构造期间传递给链的回调之外被调用，但只有这些运行时回调将传播到对其他对象的调用。
tags (Optional[List[str]]) – 要传递给所有回调的字符串标签列表。这些标签将添加到构造期间传递给链的标签之外被传递，但只有这些运行时标签将传播到对其他对象的调用。
**kwargs (Any) – 如果链期望多个输入，则可以直接作为关键词参数传入。
metadata (Optional[Dict[str, Any]]) –
**kwargs –

返回

链输出。

返回类型

Any

示例

# Suppose we have a single-input chain that takes a 'question' string:
chain.run("What's the temperature in Boise, Idaho?")
# -> "The temperature in Boise is..."

# Suppose we have a multi-input chain that takes a 'question' string
# and 'context' string:
question = "What's the temperature in Boise, Idaho?"
context = "Weather report for Boise, Idaho on 07/03/23..."
chain.run(question=question, context=context)
# -> "The temperature in Boise is..."

save(file_path: Union[Path, str]) → None¶

保存链。

期望实现 Chain._chain_type 属性，并且内存为: 空。

参数: file_path (Union[Path, str]) – 保存链到文件的路径。
返回类型: None

示例

chain.save(file_path="path/chain.yaml")

stream(input: Input, config: Optional[RunnableConfig] = None, **kwargs: Optional[Any]) → Iterator[Output]¶

stream 的默认实现，它调用 invoke。如果子类支持流式输出，则应重写此方法。

参数

input (Input) – Runnable 的输入。
config (Optional[RunnableConfig]) – 用于 Runnable 的配置。默认为 None。
kwargs (Optional[Any]) – 要传递给 Runnable 的其他关键字参数。

Yields

Runnable 的输出。

返回类型

Iterator[Output]

to_json() → Union[SerializedConstructor, SerializedNotImplemented]¶

将 Runnable 序列化为 JSON。

返回: Runnable 的 JSON 可序列化表示。
返回类型: Union[SerializedConstructor, SerializedNotImplemented]

property evaluation_name: str¶

获取评估的名称。

返回: 评估的名称。
返回类型: str

property requires_input: bool¶: 此评估器是否需要输入字符串。

property requires_reference: bool¶: 评估是否需要参考文本。

langchain.evaluation.criteria.eval_chain.CriteriaEvalChain¶

`langchain.evaluation.criteria.eval_chain`.CriteriaEvalChain¶