模型评测

使用场景

• 模型选型对比：使用相同的评测数据集和维度评测多个候选模型，通过排行榜横向对比综合得分和通过率，用数据驱动选型决策。

• 调优效果验证：对模型调优前后分别执行评测，对比评分变化，量化调优带来的能力提升。调优操作请参见模型调优。

• 能力量化评估：生成包含综合得分、通过率和分数分布的评测报告，为团队协作和管理层汇报提供客观数据支撑。

• 持续质量监控：建立定期评测机制，使用相同评测条件追踪模型表现趋势，及时发现模型能力下降。

自定义评测与基线评测

自定义评测使用您的数据集和自定义维度进行评测，支持以下三种评分方式：

• 大模型评估（AI 自动评测）：由裁判模型（如千问-Max）对被评测模型的回答进行评分。数值型维度输出评分区间内的整数分，分类型维度输出 Pass/Fail 标签。适用于问答质量、内容安全等需要语义理解的场景。

• 规则评估（自动化指标）：使用算法直接计算评分，无需裁判模型。字符串匹配判断输出是否与参考答案精确匹配，文本相似度使用 ROUGE、BLEU、Cosine 等算法计算。适用于翻译、摘要、Function Calling 等有确定性标准的场景。

• 人工评估（人工标注）：由人工逐条查看模型推理结果并标注 Pass/Fail 标签。适用于创意性写作、专业领域判断等机器难以准确评价的场景。

基线评测使用公开标准数据集快速评测模型基础能力，仅北京地域可用，详见创建基线评测任务。两种评测方式的对比如下：

评测流程与核心术语

评测的端到端流程分为四个阶段：准备数据集（在数据管理模块上传评测集类型的数据）→ 创建评测维度（定义评分标准和方式）→ 创建评测任务（选择模型、关联数据集和维度）→ 查看结果（分析得分报告，可选加入排行榜对比）。

使用前需区分两个核心概念：评分器 Prompt 配置于评测维度，指导裁判模型如何给被评测模型的回答打分。System Prompt 配置于评测任务，为被评测模型设定角色定位或行为规范，通常可留空。两者作用对象和费用归属不同。

大模型评估

数值型维度：选择裁判模型（推荐千问-Max，推理能力强），选择评分器模板（综合评测适用通用对话、语义相似度适用知识问答、自定义评测适用特定业务），设置评分范围（默认 0-5 整数），设置通过阈值（默认 3.0，步长 0.1，评分达到此值判定为 Pass）。

分类型维度：选择裁判模型，选择评分器模板（标准匹配判断输出与参考答案是否一致、情感分析识别积极/中性/消极情感、自定义评分器适用自定义场景），设置 Pass 标签和 Fail 标签。两组标签不能有重复项，有重复会阻止提交。

规则评估

文本相似度维度：选择相似度算法。支持 7 种算法：ROUGE-1、ROUGE-2、ROUGE-L（适用文本摘要）、BLEU（适用翻译）、Cosine（适用语义理解和开放问答）、Fuzzy Match（适用 OCR 和语音识别）、Accuracy（适用精确匹配场景）。

字符串匹配维度：选择匹配规则，支持相等、不相等、包含三种方式。Function Calling 验证场景通常选择包含，固定答案场景选择相等。

人工评估与 Prompt 变量

人工评估-分类型维度：设置 Pass 标签和 Fail 标签。人工评估不涉及裁判模型，由人工逐条标注。标签设计应简洁明确，覆盖所有可能的评判结果。

大模型评估维度在自定义评分器 Prompt 时，可使用以下变量：${prompt}（用户问题）、${output}（模型回答）、${completion}（参考答案）。自定义 Prompt 须至少包含一个变量，否则系统将阻止提交。

维度名称最长 20 字符，描述最长 100 字符。

选择评测模型

从控制台模型列表中选择要评测的目标模型。支持预置模型和调优后的模型，具体支持的模型请参见预置模型列表。

配置数据来源

数据来源支持两种方式：

• 评测数据集：包含 Prompt（用户问题）和 Completion（参考答案），系统调用被评测模型推理生成 Output 后再评分，会产生推理费用。须为评测集（EvaluationSet）类型且已发布版本，在数据管理模块提前上传。

• 推理结果集：已包含模型 Output，系统直接评分不调用模型推理，不产生推理费用。适用于已有模型输出想降低成本的场景。

数据量建议：小规模验证 50-100 条，正式评测 200-500 条，全面评估 500 条以上。

关联维度与排行设置

从已创建的评测维度中多选要关联的维度，须提前在评测维度页面创建。

推理参数（Temperature、TopP、System Prompt 等）按所选模型动态加载。System Prompt 为被评测模型设定角色定位，大多数场景可留空。

是否参与排行开关默认关闭。开启后须选择一个排行榜，评测结果将加入排行参与排名。排行榜绑定维度为空时系统将阻止提交并显示错误提示。

清空评测维度时系统会自动清空排行榜选择。任务名称最长 50 字符。配置完成后，单击开始评测提交任务。

创建流程

1. 在百炼控制台，选择评测任务 Tab，单击创建评测任务。

2. 评测方式选择基线评测。

3. 选择要评测的目标模型。

4. 选择基线评测数据集。公开数据集分为学科类（C-Eval、MMLU、ARC）、数学类（GSM8K）和推理类（BBH、HellaSwag），按评测需求选择。

5. 单击开始评测提交任务。

与自定义评测的区别

• 基线评测不使用自定义评测维度，系统使用预设标准自动评分。

• 基线评测不支持推理结果集数据来源，仅使用平台预设的公开数据集。

• 基线评测任务不可下载评测结果。

• 基线评测任务在任务列表中不显示综合得分和维度详情列（显示短横线）。

• 基线评测任务不可进入人工标注页面。

任务状态

评测任务的状态按以下顺序流转：待执行 → 进行中 → 评测完成/评测失败/评测终止。

数据明细与指标统计

任务状态变为评测完成后，单击任务名称进入详情页，包含以下两个 Tab：

数据明细 Tab：逐样本展示评测结果，每条数据包含 Prompt（用户问题）、模型 Output（模型回答）、参考 Completion（参考答案）以及各评测维度的评分。

指标统计 Tab：展示评测的汇总指标，包括综合得分（各维度的平均分）、通过率（评分达到通过阈值的样本占比）以及分数分布图。

评测结果支持下载，便于离线分析和归档。待执行状态和基线评测任务不支持下载。

结果分析建议

分析评测结果时，建议关注分数分布而非仅看综合得分。综合得分是各维度的平均分，可能掩盖维度间的显著差异。例如综合得分 85 分可能是某些维度 95 分与某些维度 75 分的均值，需要逐维度分析才能发现短板。

1-3% 的分数差异通常为评测噪声而非模型能力差异，不建议仅凭微小分差做决策。使用人工评估维度的任务须全部数据标注完成后才变为评测完成状态，详细流程请参见人工标注评测。

创建排行榜

在百炼控制台的模型评测页面，选择排行榜 Tab，单击创建排行榜。填写排行榜名称（最长 50 字符），选择评测维度（必填，创建后不可修改，选错需删除重建），可选关联已有的评测任务（须使用相同评测维度的已完成任务）。已绑定到该排行榜的任务不可重复添加。

排行得分与使用

排行榜得分范围为 0-100，基于关联评测维度的综合评分计算，与评测维度本身的评分范围（如 0-5）不同。排行榜前三名以色标区分：第 1 名金色、第 2 名银色、第 3 名铜色。

在排行榜详情页可直接创建评测任务。从排行榜入口进入时，评测维度和排行榜字段自动锁定，确保新任务与排行榜使用相同的评分标准。

为确保模型对比的公平性，建议排行榜内所有评测任务使用相同的评测数据集。

标注流程

1. 在评测任务列表中，找到使用人工评估维度的评测任务，单击任务名称打开详情。

2. 在评测数据页面，逐条查看模型推理结果。每条数据展示 Prompt（用户问题）和模型 Output（模型回答）。

3. 根据评测标准为每条数据选择对应的标签（Pass 或 Fail 类别下的具体标签）。支持跳过当前数据，稍后再标注。

4. 使用上一题、下一题按钮在数据间翻页，直至所有数据标注完成。

标注进度与任务状态

全部数据标注完成后，任务状态自动变为评测完成。标注完成前，任务始终处于进行中状态。

与自动评测相比，人工评估无裁判模型评分费用，但需要人力投入且耗时更长。标签设计的详细说明请参见创建评测维度。

评测任务管理

• 终止任务：仅进行中状态可用，操作不可逆。终止后已评测的部分数据保留但无法恢复继续，排行榜中该任务的得分列显示短横线。

• 删除任务：仅评测完成、评测终止、评测失败三种终态可用，操作不可逆。任务及其评测结果永久删除，已关联排行榜的任务需先从排行榜移除。

• 重命名：仅影响显示名称，不影响评测结果。

• 下载结果：下载评测结果数据文件。待执行状态和基线评测任务不支持下载。

• 筛选和搜索：支持按任务名称搜索、按状态筛选、按创建时间排序。

评测维度管理

删除评测维度操作不可逆。已被排行榜绑定的维度删除后，排行榜绑定维度为空，会阻止在该排行榜下创建新评测任务。删除维度前请确认是否有排行榜在使用。

排行榜管理

删除排行榜不影响已关联的评测任务和评测结果。从排行榜移除任务是可逆操作，移除后可重新添加。

被评测模型推理费用

使用评测数据集作为数据来源时，系统调用被评测模型进行推理，按 Token 消耗量计费。计算公式：输入 Token 数 / 1M x 输入单价 + 输出 Token 数 / 1M x 输出单价。

已部署的调优模型评测不额外计费，推理费用已包含在部署算力费用中。

使用推理结果集作为数据来源时无需执行模型推理，不产生被评测模型推理费用。

基线评测计费与自定义评测相同，按推理 Token 消耗计费。

裁判模型评分费用

仅大模型评估维度（数值型和分类型）涉及裁判模型评分费用，按 Token 消耗计费。规则评估（字符串匹配和文本相似度）和人工评估不使用裁判模型，无评分费用。

由于模型推理输出长度不确定，系统无法在评测前预估总费用，以实际发生为准。

成本优化策略

• 先小规模验证：使用 50-100 条数据验证配置正确性和评分质量，确认无误后再扩大数据规模，避免配置错误导致的无效消耗。

• 保存推理结果集复用：首次评测后下载包含模型 Output 的结果，后续评测使用推理结果集方式，避免重复推理产生费用。

• 优先选规则评估：规则评估无裁判模型费用，是成本最低的评测方式。翻译、摘要、Function Calling 等有确定性标准的场景优先使用。