`langchain.evaluation.parsing.base`.JsonValidityEvaluator¶

class langchain.evaluation.parsing.base.JsonValidityEvaluator(**kwargs: Any)[source]¶

评估预测是否是有效的JSON。

此评估器检查预测是否为有效的JSON字符串。它不需要: 任何输入或参考。

参数: kwargs (任何) –

requires_input¶

此评估器是否需要一个输入字符串。始终为False。

类型: bool

requires_reference¶

此评估器是否需要一个参考字符串。始终为False。

类型: bool

evaluation_name¶

评估指标的名称。始终是“json”。

类型: str

示例

>>> evaluator = JsonValidityEvaluator()
>>> prediction = '{"name": "John", "age": 30, "city": "New York"}'
>>> evaluator.evaluate(prediction)
{'score': 1}

>>> prediction = '{"name": "John", "age": 30, "city": "New York",}'
>>> evaluator.evaluate(prediction)
{'score': 0, 'reasoning': 'Expecting property name enclosed in double quotes'}

属性

`evaluation_name`	评估的名称。
`requires_input`	此评估器是否需要一个输入字符串。
`requires_reference`	此评估器是否需要一个参考标签。

方法

`__init__`(**kwargs)
`aevaluate_strings`(*, prediction[, ...])	基于可选输入和标签异步评估链或LLM输出。
`evaluate_strings`(*, prediction[, reference, ...])	基于可选输入和标签评估链或LLM输出。

__init__(**kwargs: Any) → None[源代码]¶

参数: kwargs (任何) –
返回类型: None

async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict¶

基于可选输入和标签异步评估链或LLM输出。

参数

prediction (str) – 要评估的LLM或链预测。
reference (Optional[str], 可选) – 用于比较的参考标签。
input (Optional[str], 可选项) – 评估过程中要考虑的输入。
kwargs (Any) – 其他关键字参数，包括回调函数、标签等。

返回结果

包含分数或值的评估结果。

返回类型

dict

evaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict¶

基于可选输入和标签评估链或LLM输出。