`langchain_google_vertexai.evaluators.evaluation`.VertexPairWiseStringEvaluator¶

class langchain_google_vertexai.evaluators.evaluation.VertexPairWiseStringEvaluator(metric: str, **kwargs)[source]¶

评估预测字符串的困惑度。

属性

`requires_input`	此评估器是否需要输入字符串。
`requires_reference`	此评估器是否需要参考标签。

方法

`__init__`(metric, ...)
`aevaluate_string_pairs`(..., prediction, ...)	异步评估输出字符串对。
`evaluate_string_pairs`(..., prediction, ...)	评估输出字符串对。

参数: metric (str) –

__init__(metric: str, **kwargs)[source]¶

参数: metric (str) –

async aevaluate_string_pairs(*, prediction: str, prediction_b: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict¶

异步评估输出字符串对。

参数

prediction (str) – 第一个模型的输出字符串。
prediction_b (str) – 第二个模型的输出字符串。
reference (Optional[str], optional) – 预期输出/参考字符串。
input (Optional[str], optional) – 输入字符串。
**kwargs – 其他关键字参数，例如回调和可选的参考字符串。

返回

包含偏好、分数和/或其他信息的字典。

返回类型

dict

evaluate_string_pairs(*, prediction : str, prediction_b : str, reference : Optional[str]= None, input : Optional[str]= None, **kwargs: Any) → dict¶

评估输出字符串对。