模型评测

模型评测是百炼平台提供的模型能力评估功能，支持自定义评测和基线评测两种方式。基线评测内置覆盖通用知识、数学、代码、上下文推理、领域专项 5 大类的公开标准基线库，帮助您对模型推理结果进行打分和对比，选择最优模型或验证调优效果。

模型评测概述

模型评测是百炼平台提供的模型能力评估功能，支持自定义评测和基线评测两种方式，通过评测维度对模型推理结果进行打分和对比，生成评测报告和排行榜。您可以使用预置模型或调优后的模型作为评测对象，量化模型表现并辅助选型决策。当前仅支持文本生成类模型评测。自定义评测集支持单轮（Prompt/Completion）与多轮对话（ChatML）两种格式，评测结果支持多次采样统计 Pass@K 并按分桶规则分类导出。更多功能介绍请参见模型评测产品概览。

使用场景

• 模型选型对比：使用相同的评测数据集和维度评测多个候选模型，通过排行榜横向对比综合得分和通过率，用数据驱动选型决策。
• 调优效果验证：对模型调优前后分别执行评测，对比评分变化，量化调优带来的能力提升。调优操作请参见模型调优。
• 能力量化评估：生成包含综合得分、通过率和分数分布的评测报告，为团队协作和管理层汇报提供客观数据支撑。
• 持续质量监控：建立定期评测机制，使用相同评测条件追踪模型表现趋势，及时发现模型能力下降。
• 难例挖掘与数据回流：对同一样本多次推理统计 Pass@K，结合结果分桶筛选难例样本，回流为平台数据集用于针对性调优。

自定义评测与基线评测

百炼模型评测支持两种评测方式：基于业务效果的自定义评测（使用您的数据集和自定义维度进行评测）和基于模型通用能力的基线评测（使用公开标准数据集快速评测模型基础能力）。

自定义评测使用您的数据集和自定义维度进行评测，支持以下三种评分方式：

• 大模型评估（AI 自动评测）：由裁判模型（如千问-Max）对被评测模型的回答进行评分。数值型维度输出评分区间内的整数分，分类型维度输出 Pass/Fail 标签。适用于问答质量、内容安全等需要语义理解的场景。
• 规则评估（自动化指标）：使用算法直接计算评分，无需裁判模型。字符串匹配判断输出是否与参考答案精确匹配，文本相似度使用 ROUGE、BLEU、Cosine 等算法计算。适用于翻译、摘要、Function Calling 等有确定性标准的场景。
• 人工评估（人工标注）：由人工逐条查看模型推理结果并标注 Pass/Fail 标签。适用于创意性写作、专业领域判断等机器难以准确评价的场景。

基线评测内置覆盖通用知识、数学、代码、上下文推理、领域专项 5 大类共 13 个公开标准基线，快速评测模型基础能力，仅北京地域可用，详见创建基线评测任务。两种评测方式的对比如下：

对比项	自定义评测	基线评测
数据来源	用户数据集或推理结果集	公开标准数据集（平台预设）
评测维度	自定义创建	系统预设基线库（5 分类 13 个，部分支持子维度勾选）
评分方式	AI 评测 / 规则评估 / 人工标注	系统自动评分
结果下载	支持	支持
可用范围	全地域	仅北京地域

评测流程与核心术语

评测的端到端流程分为四个阶段：准备数据集（在数据管理模块上传评测集类型的数据）→ 创建评测维度（定义评分标准和方式）→ 创建评测任务（选择模型、关联数据集和维度）→ 查看结果（分析得分报告，可选加入排行榜对比）。

使用前需区分两个核心概念：评分器 Prompt 配置于评测维度，指导裁判模型如何给被评测模型的回答打分。System Prompt 配置于评测任务，为被评测模型设定角色定位或行为规范，通常可留空。两者作用对象和费用归属不同。

快速入门

本节以最短路径引导您完成第一次模型评测。每步给出控制台导航路径和关键表单字段的最小配置，完成以下四步后，您将获得一份包含综合得分和通过率的评测报告。

控制台页面顶栏显示当前业务空间（可切换）、地域（默认华北2·北京）和返回旧版入口。不同地域可用的评测方式可能不同（如基线评测仅北京地域可用）。

前提条件

• 已开通阿里云百炼账号，可通过百炼控制台访问模型评测功能。
• 已准备评测数据集：在数据管理模块上传评测集（EvaluationSet）类型的数据。样本格式可选文本生成（prompt&completion）（单轮，Prompt 与 Completion 两列）或文本生成（ChatML-messages）（多轮对话），快速入门使用任一格式均可。

操作步骤

1. 创建评测维度：在控制台左侧导航栏选择模型评测，切换到评测维度页签，单击创建评测维度，在弹窗中选择+ 创建自定义评测维度。最小配置：维度类型选择大模型评估-数值型，裁判模型选择千问-Max，评分范围保持 0-5，通过阈值设为 3，Prompt 保留默认模板。详细配置请参见创建评测维度。
2. 创建评测任务：切换到评测任务页签，单击创建评测任务，评测方式选自定义。最小配置：选择被评测模型，数据来源选择评测数据集并指定已上传的数据集，关联上一步创建的维度，并发数与单样本推理次数保持默认，排行参与保持关闭。确认后单击开始评测。详细配置请参见创建自定义评测任务。
3. 等待评测完成：提交后任务进入待执行状态，随后自动转为进行中。评测耗时取决于数据量和模型推理速度，50 条数据通常在数分钟内完成。完成后可查看或标注评测结果，也可构建评测任务效果排行榜，将不同模型放置在同一维度下进行效果比较。
4. 查看评测结果：任务完成后，单击任务名称打开详情页。在任务总览页签查看任务基础信息与整体指标，在Case 分析页签逐条查看每条样本的输入、输出与各维度评分。详细解读请参见查看评测结果。

管理评测任务

在百炼控制台的模型评测页面，您可以对评测任务、评测维度和排行榜进行日常管理。

各管理操作的可逆性和影响范围如下表所示。执行不可逆操作前请确认影响。

操作	可逆性	影响说明
终止任务	不可逆	已评测数据保留，无法恢复继续
删除任务	不可逆	任务及结果永久删除
重命名	可逆	仅影响显示名称
从排行榜移除任务	可逆	可重新添加
删除排行榜	不可逆	不影响已关联的评测任务
删除评测维度	不可逆	排行榜绑定维度为空将阻止新任务

评测任务管理

• 终止任务：仅进行中状态可用，操作不可逆。终止后已评测的部分数据保留但无法恢复继续，排行榜中该任务的得分列显示短横线。
• 删除任务：仅评测完成、评测终止、评测失败三种终态可用，操作不可逆。任务及其评测结果永久删除，已关联排行榜的任务需先从排行榜移除。
• 重命名：仅影响显示名称，不影响评测结果。
• 下载结果：下载评测结果数据文件。待执行状态不支持下载。
• 筛选和搜索：支持按任务名称搜索、按状态筛选、按创建时间排序。

评测维度管理

删除评测维度操作不可逆。已被排行榜绑定的维度删除后，排行榜绑定维度为空，会阻止在该排行榜下创建新评测任务。删除维度前请确认是否有排行榜在使用。

计费说明

模型评测的费用由两部分构成：被评测模型的推理费用和裁判模型的评分费用。具体模型单价请参见预置模型列表中的定价说明。

不同维度类型的费用构成如下：

维度类型	被评测模型推理费	裁判模型评分费
大模型评估（数值型/分类型）	按 Token 计费	按 Token 计费
规则评估（字符串匹配/文本相似度）	按 Token 计费	无
人工评估（分类型）	按 Token 计费	无
使用推理结果集时	无（不调用模型推理）	按维度类型决定

被评测模型推理费用

使用评测数据集作为数据来源时，系统调用被评测模型进行推理，按 Token 消耗量计费。计算公式：输入 Token 数 / 1M x 输入单价 + 输出 Token 数 / 1M x 输出单价。单样本推理次数设置为大于 1 时，每条样本按设定次数执行推理，推理费用随推理次数相应增加，按实际发生计算。

已部署的调优模型评测不额外计费，推理费用已包含在部署算力费用中。

使用推理结果集作为数据来源时无需执行模型推理，不产生被评测模型推理费用。

基线评测计费与自定义评测相同，按推理 Token 消耗计费。

裁判模型评分费用

仅大模型评估维度（数值型和分类型）涉及裁判模型评分费用，按 Token 消耗计费。规则评估（字符串匹配和文本相似度）和人工评估不使用裁判模型，无评分费用。

由于模型推理输出长度不确定，系统无法在评测前预估总费用，按实际发生计算。

成本优化策略

• 先小规模验证：使用 50-100 条数据验证配置正确性和评分质量，确认无误后再扩大数据规模，避免配置错误导致的无效消耗。
• 保存推理结果集复用：首次评测后下载包含模型 Output 的结果，后续评测使用推理结果集方式，避免重复推理产生费用。
• 优先选规则评估：规则评估无裁判模型费用，是成本最低的评测方式。翻译、摘要、Function Calling 等有确定性标准的场景优先使用。

常见问题

问题：配置评测维度时，评分范围和通过阈值容易混淆。

评分范围定义裁判模型的打分区间（整数，如 0-5），决定评分粒度。通过阈值是判定 Pass/Fail 的分界线（支持小数，步长 0.1，如 3.0），用于统计通过率。两者独立配置：前者决定"模型能得几分"，后者决定"几分算及格"。

问题：想通过 API 或 SDK 自动化评测流程。

模型评测当前仅支持控制台操作，不提供公开 API/SDK。如需编程化评测能力，可参考 PAI Judge Model API 作为替代方案。

问题：评测发现模型在特定场景表现不足。

可对模型进行调优后重新评测验证效果（请参见模型调优）。如果模型缺失特定领域知识，可引入知识库增强模型能力（请参见知识库）。