大模型评估维度由裁判模型按评分器 Prompt 对被评测模型的输出评分，支持数值型与分类型两种方式，提供 19 个预置模版、AI 优化与试运行能力。
大模型评估概述
大模型评估由裁判模型（如千问-Max）按您配置的评分器 Prompt 对被评测模型的输出进行评分，分为两种方式：
- 大模型评估-数值型：裁判模型对模型输出打连续数值分（如 0~5 分），适合需要精细量化的场景，如问答质量评估、内容生成质量评分。
- 大模型评估-分类型：裁判模型按用户定义的标签对模型输出分类（Pass/Fail），适合需要语义理解的判定场景，如内容安全检测、答案正确性判断。
数值型维度输出评分区间内的整数分，通过阈值判定 Pass/Fail；分类型维度直接输出标签。两种方式均按 Token 计费产生裁判模型评分费用（当前限时免费调用）。与其他维度类型的对比与选择建议请参见评测维度。
创建大模型评估维度
登录百炼控制台，选择左侧导航栏的模型评测，切换到评测维度 Tab，单击创建评测维度打开选择弹窗：可在预置模版列表中按类型和标签筛选，单击模板卡片的使用模版一键套用；或单击+ 创建自定义评测维度进入自定义配置页面。
创建自定义评测维度时，需先填写公共字段：
- 维度名称：必填，长度不超过 20 个字符。
- 描述：选填，长度不超过 100 个字符。
- 类型：必填，选择大模型评估-数值型或大模型评估-分类型。评分器类型创建后不可更改，选错只能删除重建。
选择类型后，按以下步骤完成配置：
数值型
- 选择裁判模型（推荐千问-Max，推理能力强，当前限时免费调用）。
- 选择评分器模版：通过选择预置模版选用平台预置模板（数值型预置模版见预置模板），或基于编辑器内的默认 Prompt 自行修改。
- 编写评分器 Prompt：至少包含一个变量。
- 设置评分范围：配置最小值和最大值，均为整数。最小值 ≥ 0，最大值 ≥ 1，默认 0~5。
- 设置通过阈值：评分达到该值及以上判定为 Pass，步长 0.1。阈值随评分范围自动联动。
- 单击保存。
分类型
- 选择裁判模型（推荐千问-Max）。
- 选择评分器模版：通过选择预置模版选用平台预置模板（分类型预置模版见预置模板），或基于编辑器内的默认 Prompt 自行修改。
- 编写评分器 Prompt：Prompt 中至少包含一个变量，长度不超过 20000 个字符。
- 配置Pass 标签和Fail 标签：每个标签不超过 20 个字符，两组标签不可重复。
- 单击保存。
配置评分器Prompt
评分器 Prompt 指导裁判模型如何评判输出质量，定义评判标准和输出格式。
Prompt 变量
评分器 Prompt 支持以下三个变量，系统在评测执行时自动替换为实际值（在 Prompt 编辑器中输入 / 可快速引用变量）：
- ${messages}：完整对话内容。多轮对话（ChatML）评测集为全部消息，单轮（prompt&completion）评测集为用户输入。
- ${completion}：参考回复，即评测数据集中预设的参考答案（多轮评测集为最后一条 assistant 消息）。
- ${output}：待评模型的输出结果，即被评测模型对当前问题的回复。
Prompt 中至少包含一个变量，否则无法提交。
预置模板
预置模版在创建评测维度弹窗中按类型（大模型评估-数值型、大模型评估-分类型）和标签（通用质量、文本匹配、文本相似度、安全性、文本分类）筛选后单击使用模版套用，列表从系统配置动态获取。
数值型预置模板（14 个）：
- 翻译质量：评估译文对原文含义、语气、术语和表达的综合还原质量。
- 内容创造性：评估回复在满足任务要求的前提下是否具有新颖、有价值的表达或构思。
- 风险识别完整性：评估回复是否完整识别方案或行为中的关键风险。
- 隐私保护：评估回复是否妥善保护个人信息、敏感数据和用户隐私。
- 建议可执行性：评估回复中的建议是否具体、可行并能指导下一步行动。
- 回答有用性：评估回复是否真正帮助用户达成当前目标。
- 逻辑连贯性：评估回复的论述结构、前后一致性和推理衔接。
- 回答简洁性：评估回复是否避免冗余并以必要篇幅完成任务。
- 语言流畅性：评估回复是否自然、通顺且易于阅读。
- 回答完整性：评估回复是否覆盖用户请求中的所有关键内容。
- 问答相关性：评估模型回复与用户查询的相关性和完整性。
- 幻觉现象：检测回复中是否存在虚假或幻觉信息。
- 指令遵循程度：评估回复是否严格遵守给定的指令、格式与约束。
- 与参考答案一致性：检查回复与标准答案的一致性。
分类型预置模板（5 个）：
- 问题解决状态分类：判断回复是否解决了用户当前问题。
- 问题可回答性分类：判断当前问题能否依据已提供信息直接回答。
- 安全风险分类：识别回复是否安全、存在潜在风险或包含高风险内容。
- 用户意图分类：识别完整对话中用户当前的主要诉求。
- 情感倾向分类：将待评回复标记为正向、中性或负向。
自定义 Prompt 编写
编写要点：
- 使用 ${messages}、${completion}、${output} 变量引用评测数据。
- 明确定义评分标准。分类型需定义每个标签的判定条件；数值型需定义每个分值对应的质量标准。
- 指定输出格式要求，确保裁判模型的评判结果可被系统正确解析。
以下是一个分类型的自定义 Prompt 示例：
请评估以下模型回答的质量。完整对话：${messages}，模型回答：${output}，参考答案：${completion}。评分标准：如果回答包含参考答案的核心要素且无事实错误，判定为 Pass；如果回答遗漏关键信息或包含事实错误，判定为 Fail。请仅输出 Pass 或 Fail。
切换评分器模板会覆盖当前 Prompt 内容，手动编辑的内容请先备份。
AI 优化与试运行
- AI 优化：单击 Prompt 编辑器工具栏的优化，系统基于当前 Prompt 生成优化版本，可在弹窗中立即使用、重新生成或退出。
- 试运行：配置完成后，在试运行区单击开始运行，使用样例数据验证评分效果，右侧展示运行结果。试运行与裁判模型调用限时免费。
常见问题
问题：提交评分器 Prompt 时系统提示缺少变量。
评分器 Prompt 中必须至少包含一个变量（${messages}、${completion} 或 ${output}）。请检查 Prompt 内容，确保使用 ${变量名} 格式正确引用了变量。
问题：切换评分器模板后，之前手动编辑的 Prompt 内容消失。
这是预期行为。切换模板会将 Prompt 替换为模板预设内容。如果您有重要的自定义 Prompt 内容，请在切换模板前先备份。
问题：评测完成但评分结果不符合预期，分数集中在某个分数段或区分度低。
首先检查评分器 Prompt 是否有明确的评分标准和正确的变量引用。模糊的评分标准会导致裁判模型评分集中在某个分数段，建议为每个分数档提供清晰的判定条件描述。其次确认裁判模型的推理能力是否足够（推荐千问-Max），并定期人工抽查校准。优化评分器 Prompt 可参考Prompt 最佳实践。
问题：使用大模型评估类型的评测维度是否会产生费用。
评测维度模板的创建和管理本身不收费。评测任务执行时，大模型评估类型会调用裁判模型推理，费用按裁判模型计费标准收取（当前限时免费调用）。