langchain.evaluation.parsing.json_schema.JsonSchemaEvaluator¶
- class langchain.evaluation.parsing.json_schema.JsonSchemaEvaluator(**kwargs: Any)[source]¶
一个验证器，用于将 JSON 预测与 JSON 模式参考相对照。
此评估器检查给定的JSON预测是否符合提供的JSON模式。如果预测有效，则分数为True（无错误）。否则，分数为False（发生错误）。
- requires_input¶
评估器是否需要输入。
- 类型
布尔值
- requires_reference¶
评估器是否需要参考。
- 类型
布尔值
- evaluation_name¶
评估的名称。
- 类型
字符串
示例
评估器 = JsonSchemaEvaluator() 结果 = 评估器.evaluate_strings(
预测={'name':'John','age':30}，参考={
“类型”：“对象”，“属性”：{
“名称”：{“类型”： “字符串”}，“年龄”：{“类型”： “整数”}
}
}
) 断言结果[“分数”]不为None
初始化JsonSchemaEvaluator。
- 参数
kwargs (任何) - 额外的关键字参数。
- 引发
ImportError - 如果未安装jsonschema包。
属性
返回评估的名称。
返回评估器是否需要输入。
返回评估器是否需要参考。
方法
__init__(**kwargs)初始化JsonSchemaEvaluator。
aevaluate_strings(*, prediction[, ...])根据可选输入和标记，异步评估链或LLM输出。
evaluate_strings(*, prediction[, reference, ...])根据可选输入和标记评估链或LLM输出。
- __init__(**kwargs: Any) None[source]¶
初始化JsonSchemaEvaluator。
- 参数
kwargs (任何) - 额外的关键字参数。
- 引发
ImportError - 如果未安装jsonschema包。
- 返回类型
None
- async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) dict¶
根据可选输入和标记，异步评估链或LLM输出。
- 参数
prediction (str) – 需要评估的LLM或chain预测。
reference (Optional[str], optional) – 要评估的参考标签。
input (Optional[str], optional) – 评估时考虑的输入。
kwargs (Any) – 其他关键字参数，包括回调、标签等。
- 返回
包含分数或值的评估结果。
- 返回类型
dict
- aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) dict¶
根据可选输入和标记评估链或LLM输出。
- 参数
prediction (str) – 需要评估的LLM或chain预测。
reference (Optional[str], optional) – 要评估的参考标签。
input (Optional[str], optional) – 评估时考虑的输入。
kwargs (Any) – 其他关键字参数，包括回调、标签等。
- 返回
包含分数或值的评估结果。
- 返回类型
dict