langchain.evaluation.schema.AgentTrajectoryEvaluator

class langchain.evaluation.schema.AgentTrajectoryEvaluator[source]

用于评估代理轨迹的接口。

属性

requires_input

该评估器是否需要一个输入字符串。

requires_reference

该评估器是否需要一个参考标签。

方法

__init__()

aevaluate_agent_trajectory(*, prediction, ...)

异步评估轨迹。

evaluate_agent_trajectory(*, prediction, ...)

评估轨迹。

__init__()
async aevaluate_agent_trajectory(*, prediction: str, agent_trajectory: Sequence[Tuple[AgentAction, str]], input: str, reference: Optional[str] = None, **kwargs: Any) dict[source]

异步评估轨迹。

参数
  • prediction (str) – 最终预测的响应。

  • agent_trajectory (List[Tuple[AgentAction, str]]) – 构成代理轨迹的中间步骤。

  • input (str) – 代理的输入。

  • reference (Optional[str]) – 参考答案。

  • kwargs (Any) –

返回

评价结果。

返回类型

dict

evaluate_agent_trajectory(*, prediction: str, agent_trajectory: Sequence[Tuple[AgentAction, str]], input: str, reference: Optional[str] = None, **kwargs: Any) dict[来源代码]

评估轨迹。

参数
  • prediction (str) – 最终预测的响应。

  • agent_trajectory (List[Tuple[AgentAction, str]]) – 构成代理轨迹的中间步骤。

  • input (str) – 代理的输入。

  • reference (Optional[str]) – 参考答案。

  • kwargs (Any) –

返回

评价结果。

返回类型

dict