Evaluator

更新时间:
复制 MD 格式
名称类型描述示例值
object

评估任务中的评估器配置,用于引用已创建的评估器,或以内联方式描述本次任务使用的评估器。

evaluatorRefstring

已注册评估器的引用名称。传入后优先按该引用加载评估器定义,支持内置评估器和自定义评估器。

Builtin.agent_task_completion
namestring

评估器名称。未传 evaluatorRef 的内联评估器场景必填;同一任务内 evaluatorRef 或 name 不能重复。

agent_task_completion
typestring

评估器类型。未传时默认 LLM;内联 CODE 评估器当前不支持,CODE 类型请通过 evaluatorRef 引用已创建评估器。

枚举值:
  • AGENTAGENT
  • CODECODE
  • LLMLLM
AGENT
resultNamestring

评估结果字段名。内联评估器场景必填;引用已有评估器时未传则使用评估器定义中的 metricName。

agent_task_completion
resultTypestring

评估结果类型。内联评估器场景必填;引用已有评估器时未传默认为 score。

枚举值:
  • scorescore
  • binarybinary
  • texttext
score
configobject

评估器运行配置。内联 LLM 评估器需要包含 prompt 等配置;引用已有评估器时通常不传,仅在需要指定版本等运行时参数时传入。

{"version":"1.0.0"}
filtersobject

评估器级数据筛选条件,会与任务级 dataFilter.query 共同生效。

{"query":"serviceName='checkout-service'"}
variableMappingobject

变量映射关系,将评估器变量映射到评估数据字段。LLM/AGENT 内联评估器必填,引用已有评估器时变量名必须存在于评估器定义中。

string

单个变量映射值,表示该评估器变量读取的评估数据字段路径。

trace.input