langchain.evaluation.schema.EvaluatorType

class langchain.evaluation.schema.EvaluatorType(value)

评估器的类型。

QA = 'qa'

问答评估器，它直接使用LLM对问题的答案进行评分。

COT_QA = 'cot_qa'

思维链问答评估器，它使用思维链进行“推理”来对问题的答案进行评分。

CONTEXT_QA = 'context_qa'

包含“上下文”的问答评估器。

PAIRWISE_STRING = 'pairwise_string'

成对字符串评估器，它预测两个模型之间较优的预测。

SCORE_STRING = 'score_string'

分数字符串评估器，它对预测给出1到10的评分。

LABELED_PAIRWISE_STRING = 'labeled_pairwise_string'

标记成对字符串评估器，它根据基准真实参考标签预测两个模型之间的较优预测。

LABELED_SCORE_STRING = 'labeled_score_string'

标记分数字符串评估器，它根据真实参考标签对预测给出1到10的评分。

AGENT_TRAJECTORY = 'trajectory'

代理轨迹评估器，它对代理的中间步骤进行评分。

CRITERIA = 'criteria'

标准评估器，它基于自定义的一套标准评估模型，而不使用任何参考标签。

LABELED_CRITERIA = 'labeled_criteria'

标记评估准则评估器，根据一组自定义的准则和参考标签评估模型。

STRING_DISTANCE = 'string_distance'

使用字符串编辑距离将预测与参考答案进行比较。

EXACT_MATCH = 'exact_match'

使用精确匹配将预测与参考答案进行比较。

REGEX_MATCH = 'regex_match'

使用正则表达式将预测与参考答案进行比较。

PAIRWISE_STRING_DISTANCE = 'pairwise_string_distance'

基于字符串编辑距离进行比较。

EMBEDDING_DISTANCE = 'embedding_distance'

使用嵌入距离将预测与参考标签进行比较。

PAIRWISE_EMBEDDING_DISTANCE = 'pairwise_embedding_distance'

使用嵌入距离进行比较。

JSON_VALIDITY = 'json_validity'

检查预测是否为有效的JSON。

JSON_EQUALITY = 'json_equality'

检查预测是否与参考JSON相等。

JSON_EDIT_DISTANCE = 'json_edit_distance'

在规范化后计算两个JSON字符串之间的编辑距离。

JSON_SCHEMA_VALIDATION = 'json_schema_validation'

检查预测是否根据JSON模式为有效的JSON。