查看评测结果

更新时间:
复制 MD 格式

介绍如何查看评测任务状态与结果详情:任务总览、Case 分析(逐次采样/按题聚合 Pass@K)、结果分桶与导出回流,以及基线评测报告的解读。

查看评测结果概述

评测任务提交后,可在评测任务列表中查看任务状态和评测结果。任务列表展示任务名称、评测模型、评测方式、评测状态、综合得分、评测详情和创建时间,操作列支持终止、下载、删除,支持按名称搜索、按状态筛选和按时间排序。任务状态变为评测完成后,单击任务名称进入详情页查看详细评测结果——自定义评测报告包含任务总览与 Case 分析两个页签(详见下文),基线评测报告包含任务总览、基线评分明细、Case 分析、多任务对比四个页签(详见基线评测报告)。

任务状态

评测任务的状态按以下顺序流转:待执行 → 进行中 → 评测完成/评测失败/评测终止。

状态

说明

可执行操作

待执行

任务已提交,等待系统调度

终止

进行中

正在执行评测

终止

评测完成

所有数据评测完毕

下载、删除、重命名

评测失败

数据格式问题或模型不可用

删除

评测终止

手动终止,已评测部分保留

下载、删除

任务总览与 Case 分析

任务状态变为评测完成后,单击任务名称进入详情页,包含任务总览与Case 分析两个页签。

任务总览页签:展示任务基础信息(评测模型、推理配置、评测方式、评测维度、并发数、单样本推理次数、创建与更新时间)、整体指标表(各评测维度的综合得分与 Bad Case 数)与消耗总览表(模型名称、类型、输入/输出用量)。单击推理配置旁的查看详情可查看 System Prompt 与推理参数。

Case 分析页签:逐样本展示评测明细,工具栏支持:

  • 输入列显示切换(Prompt&Completion、Prompt 或 Completion)与列表视图切换。
  • 逐次采样视图:每次推理一行,展示输入列(prompt&completion 数据集为 Prompt 与 Completion 两列,ChatML 数据集为 Messages 列,展示完整多轮对话)、模型输出(Output)、各评测维度评分、分桶结果与状态。单击详情可在抽屉中查看完整多轮输入、评分依据(裁判模型 Prompt 与输出)。
  • 按题聚合视图:以样本(题目)为单位聚合多次推理结果,展示各评测维度的 Pass@K 指标(K 次推理中判定通过的次数占比,反映模型在该样本上的稳定性),单击查看明细查看该样本各次推理结果。单样本推理次数为 1 时此视图不可用;某次推理未成功(评分失败、评分终止或进行中)时,该样本的 Pass@K 显示为 -。
  • 普通模式与快速标注切换,用于人工标注(详见人工标注评测)。
  • 人工维度配置、分桶与导出入口(详见下文)。

结果分桶与导出

分桶用于对评测样本按规则分类,便于定位难例样本并针对性优化:

  • 分桶规则:在 Case 分析页签单击分桶配置规则(仅评测完成的任务支持分桶)。分桶按所选指标的得分区间划分,区间含下限不含上限;同一样本命中多个区间时,从上到下首个命中的分桶生效;未命中任何分桶的样本归入其他(未命中上述规则)。配置时单击新增分桶添加分桶并选择分桶指标(如 Pass@K)。按题聚合视图下 Pass@K 为 - 的样本不参与分桶。
  • 分桶结果:应用分桶后,Case 列表新增分桶结果列,展示各样本所属桶。
  • 导出:单击导出图标打开导出分桶结果弹窗。导出范围可选导出全部或按分桶下载;导出去向可选下载到本地(生成包含分桶、评分和采样明细的数据文件,XLSX 格式)或回流平台数据集(按所选分桶创建新的平台数据集,供后续训练或评测使用)。未应用分桶时仅支持导出全部。

基线评测报告

基线评测任务完成后,单击任务名称进入报告页,包含"任务总览"、"基线评分明细"、"Case 分析"、"多任务对比"四个页签。评测完成后可在任务列表行操作列单击"下载"下载评测报告。

任务总览:展示基础信息(评测模型、推理配置、评测方式、创建时间、更新时间、任务进度、评测数据集)、整体指标(雷达图直观对比各评测集得分)、各评测集得分表(列出评测数据集、已完成/总样本数、综合得分、Bad Case 数)。

基线评分明细:顶部按 benchmark 切换并选择下钻维度(维度因 benchmark 而异,由系统按各基线维度动态返回),展示所选维度下的得分柱状图与明细表(评测数据集、科目得分、样本数、Bad Case 数),操作列"查看"可跳转 Case 分析。

Case 分析:逐条展示 case 的输入、参考答案、模型输出与状态(待执行/进行中/评测完成/评测失败/评测终止)及评测结果(通过/失败);单击具体 case 可查看完整输入、参考答案、模型输出与评测依据(LLM 判官评判依据)。

多任务对比:单击"添加模型对比"添加历史评测任务(仅相同模态可对比,最多 5 个),添加后生成多任务雷达对比、综合对比表与优劣势分析,横向对比多模型在各基线上的表现。

结果分析建议

分析评测结果时,建议关注分数分布而非仅看综合得分。综合得分是各维度的平均分,可能掩盖维度间的显著差异。例如综合得分 85 分可能是某些维度 95 分与某些维度 75 分的均值,需要逐维度分析才能发现短板。

1-3% 的分数差异通常为评测噪声而非模型能力差异,不建议仅凭微小分差做决策。使用人工评估维度的任务须全部数据标注完成后才变为评测完成状态,详细流程请参见人工标注评测。

单样本推理次数大于 1 时,可结合 Pass@K 判断样本难度:多次推理通过率高的样本为模型稳定掌握的内容,通过率低的样本为难例。难例可结合分桶筛选后回流为平台数据集(在数据管理中查看),用于扩充评测集或调优数据。

常见问题

问题:按题聚合视图中部分样本的 Pass@K 显示为 -。

该样本的多次推理中存在未成功的次数(评分失败、评分终止或进行中),Pass@K 无法计算,显示为 -。可单击「查看明细」查看各次推理的状态,定位失败原因。

问题:单击分桶按钮提示仅评测完成的任务支持分桶。

分桶基于完整评测结果计算,仅评测完成的任务支持。请等待任务评测完成后再配置分桶规则。