评测维度

Prompt 变量

评分器 Prompt 支持以下三个变量，系统在评测执行时自动替换为实际值：

• ${prompt}：用户输入的问题或指令，即发送给被测模型的原始提示词。

• ${output}：被测模型的输出结果，即模型对用户输入的回复内容。

• ${completion}：参考标准答案，即您在评测数据集中预设的期望输出。

在 Prompt 中使用 ${变量名} 语法引用变量。Prompt 中至少包含一个变量，否则无法提交。

预置模板

系统为大模型评估类型提供预置评分器模板，选择后自动填充 Prompt 内容和默认标签配置。模板列表从系统配置动态获取。

分类型预置模板：

• 标准匹配（默认）：裁判模型判断输出是否符合预期标准。

• 情感分析：裁判模型判断输出的情感倾向。

• 自定义评分器：使用您编写的自定义 Prompt。

数值型预置模板：

• 综合评测（默认）：裁判模型从多个质量维度综合打分。

• 语义相似度：裁判模型评估输出与参考答案的语义接近程度。

• 自定义评分器：使用您编写的自定义 Prompt。

自定义 Prompt 编写

选择自定义模板时，在 Prompt 编辑区域编写评分指引。编写要点：

• 使用 ${prompt}、${output}、${completion} 变量引用评测数据。

• 明确定义评分标准。分类型需定义每个标签的判定条件；数值型需定义每个分值对应的质量标准。

• 指定输出格式要求，确保裁判模型的评判结果可被系统正确解析。

以下是一个大模型评估-分类型的自定义 Prompt 示例：

请评估以下模型回答的质量。用户问题：${prompt}，模型回答：${output}，参考答案：${completion}。评分标准：如果回答包含参考答案的核心要素且无事实错误，判定为 Pass；如果回答遗漏关键信息或包含事实错误，判定为 Fail。请仅输出 Pass 或 Fail。

切换评分器模板或单击恢复默认 Prompt按钮，可将 Prompt 恢复到模板预设内容。切换模板会覆盖当前 Prompt 内容，手动编辑的内容请先备份。

查看维度

维度列表页展示所有已创建的维度模板，支持以下操作：

• 按名称搜索：在搜索框中输入维度名称关键词进行模糊查询。

• 按类型筛选：单击类型列头的筛选图标，可多选 5 种评分器类型进行筛选。

• 按创建时间排序：单击按创建时间排序可切换升序/降序。

在维度列表中单击目标维度名称进入详情页，查看该维度的完整配置（包括评分器类型、Prompt、标签、评分范围等）。

修改维度

在维度详情页中可修改维度名称、描述、评分器 Prompt、标签等配置项。评分器类型在创建后不可更改。修改保存后立即生效。

删除维度

在维度列表中单击目标维度操作列的删除按钮。删除操作不可恢复。如果该维度已被评测任务引用，则无法删除，需先移除关联的评测任务后再删除维度。

类型选择与迭代

根据评测场景选择合适的类型：有标准答案的场景优先使用规则评估（成本低、速度快），需要语义理解的场景使用大模型评估，主观质量判断使用人工评估。各类型的详细对比见评测维度概述。

建议先选择预置模板创建维度，用小样本（10~20 条数据）运行评测验证效果。根据评测结果中偏差较大的案例，针对性调整 Prompt 的评判标准和分值定义，验证合理后再扩大评测规模。逐步从预置模板过渡到自定义 Prompt。

参数配置建议

Pass 和 Fail 标签应互斥且穷尽，即所有可能的输出都能归入其中一类。简单场景使用二分类即可；复杂场景需要多标签时，控制标签数量以降低评判歧义。

大模型评估-数值型的评分范围建议不超过 10（范围过大会降低 LLM 评分一致性），默认 0~5 通过阈值 3 是常用配置。通过阈值设定需结合业务对质量的容忍度——阈值越高，通过标准越严格。

根据评测任务类型选择合适的相似度算法：

• 翻译任务：BLEU（衡量 n-gram 精确匹配）。

• 摘要任务：ROUGE-L（衡量最长公共子序列）。

• 语义相关性：余弦相似度（衡量语义向量距离）。

• 分类任务：Accuracy（衡量精确匹配率）。

命名规范

建议采用"评估方面 + 评估方式"的命名模式，如"回答准确性-LLM评分""情感倾向-标签分类""格式合规-字符串匹配"。清晰的命名有助于在评测任务中快速识别和选择维度。