langchain.evaluation.regex_match.base.RegexMatchStringEvaluator

class langchain.evaluation.regex_match.base.RegexMatchStringEvaluator(*, flags: int = 0, **kwargs: Any)

在预测和参考之间计算正则表达式匹配。

示例

>>> evaluator = RegexMatchStringEvaluator(flags=re.IGNORECASE)
>>> evaluator.evaluate_strings(
        prediction="Mindy is the CTO",
        reference="^mindy.*cto$",
    )  # This will return {'score': 1.0} due to the IGNORECASE flag

>>> evaluator = RegexMatchStringEvaluator()
>>> evaluator.evaluate_strings(
        prediction="Mindy is the CTO",
        reference="^Mike.*CEO$",
    )  # This will return {'score': 0.0}

>>> evaluator.evaluate_strings(
        prediction="Mindy is the CTO",
        reference="^Mike.*CEO$|^Mindy.*CTO$",
    )  # This will return {'score': 1.0} as the prediction matches the second pattern in the union

属性

evaluation_name	获取评估名称。
input_keys	获取输入键。
requires_input	此评估器不需要输入。
requires_reference	此评估器需要一个参考。

方法

__init__(*[,...]标志)
aevaluate_strings(*[,...]预测[,...])	异步评估链或LLM输出，基于可选的输入和标签。
evaluate_strings(*[,...]预测[,...]参考[,...])	根据可选的输入和标签评估链或LLM输出。

参数

• flags (int) –

• kwargs (Any) –

__init__(*, flags: int = 0, **kwargs: Any)

参数

• flags (int) –

• kwargs (Any) –

async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

异步评估链或LLM输出，基于可选的输入和标签。

参数

• prediction (str) – 要评估的LLM或链预测。

• reference (可选[str], 可选) – 用于评估的参考标签。

• input (可选[str], 可选) – 评估时考虑的输入。

• kwargs (Any) – 额外的关键字参数，包括回调、标签等。

返回值

包含得分或值的评估结果。

返回类型

dict

evaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

根据可选的输入和标签评估链或LLM输出。

参数

• prediction (str) – 要评估的LLM或链预测。

• reference (可选[str], 可选) – 用于评估的参考标签。

• input (可选[str], 可选) – 评估时考虑的输入。

• kwargs (Any) – 额外的关键字参数，包括回调、标签等。

返回值

包含得分或值的评估结果。

返回类型

dict