langchain_google_vertexai.evaluators.evaluation.VertexStringEvaluator

class langchain_google_vertexai.evaluators.evaluation.VertexStringEvaluator(metric: str, **kwargs)

评估预测字符串的复杂度。

属性

evaluation_name	评估的名称。
requires_input	此评估器是否需要输入字符串。
requires_reference	此评估器是否需要参考标签。

方法

__init__(metric, **kwargs)
aevaluate_strings(*, prediction[, ...])	根据可选的输入和标签异步评估链或LLM输出。
evaluate(examples, predictions, *[, ...])
evaluate_strings(*, prediction[, reference, ...])	根据可选的输入和标签评估链或LLM输出。

参数

metric (str) –

__init__(metric: str, **kwargs)

参数

metric (str) –

async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

根据可选的输入和标签异步评估链或LLM输出。

参数

• 预测 (字符串) – 要评估的LLM或链预测。

• 参考 (可选[字符串]，可选) – 要评估的参考标签。

• 输入 (可选[字符串]，可选) – 评估时考虑的输入。

• **kwargs – 附加关键字参数，包括回调、标签等。

返回

包含分数或值的评估结果。

返回类型

字典类型

evaluate(examples: 序列[字典[字符串, 字符串]], predictions: 序列[字典[字符串, 字符串]], *, question_key: 字符串 = 'context', answer_key: 字符串 = 'reference', prediction_key: 字符串 = 'prediction', instruction_key: 字符串 = 'instruction', **kwargs: 任意) → 列表[字典]

参数

• examples (序列[字典[字符串, 字符串]]) –

• predictions (序列[字典[字符串, 字符串]]) –

• question_key (字符串) –

• answer_key (字符串) –

• prediction_key (字符串) –

• instruction_key (字符串) –

• kwargs (任意) –

返回类型

列表[dict]

evaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

根据可选的输入和标签评估链或LLM输出。

参数

• 预测 (字符串) – 要评估的LLM或链预测。

• 参考 (可选[字符串]，可选) – 要评估的参考标签。

• 输入 (可选[字符串]，可选) – 评估时考虑的输入。

• **kwargs – 附加关键字参数，包括回调、标签等。

返回

包含分数或值的评估结果。

返回类型

字典类型