大语言模型量化分析能力评测-模型评测（ModelEval）-人工智能平台 PAI-阿里云-人工智能平台 PAI(PAI)-阿里云帮助中心

模型评测（ModelEval）是PAI平台提供的模型评估工具，用于全面、高效地评估大语言模型在特定或通用场景下的表现。您可以使用权威公开数据集或自定义业务数据集，量化分析模型的各项能力，为模型选型、微调优化和版本迭代提供数据支持。

使用场景

模型基准测试：使用公开数据集评测模型通用能力，与行业模型或基准进行比较。
特定领域能力评测：使用自定义数据集评测模型在特定领域的表现，比较预训练模型和微调模型的性能差异。
模型回归测试：构建回归测试集，评测模型在实际业务场景中的性能，确定模型是否符合生产标准。
模型效果对比：通过双模型竞技（在线对战或离线对战），在同一组问题上对比两个模型的回答质量，量化选出效果更优的模型。

快速开始：5分钟完成首次模型评测

本节将引导您用最少的配置，完成一次最简单的评测任务：使用公开的 CMMLU 数据集评测千问 Qwen3-4B 模型中文理解和推理能力。

登录PAI控制台，在左侧导航栏，选择模型应用 > 模型评测（ModelEval）。
在模型评测页面，单击新建任务。
如下配置参数：
- 基础配置：可使用系统自动生成的任务名称和结果输出路径。
  说明
  若工作空间未设置过OSS默认存储路径，请手动选择结果输出路径。
- 评测模式配置：选择单模型在线评测。
- 评测对象配置：评测对象选择公共模型，在公共模型下拉框中，搜索并选择 Qwen3-4B。
- 评测方式配置：勾选公开数据集评测，在数据集列表中，勾选CMMLU。
- 资源配置：选择单机-标准机型。
  - 资源类型：选择通用计算。
  - 资源来源：选择公共资源。
  - 任务资源：选择一个GPU规格，例如 ecs.gn7i-c8g1.2xlarge (24 GB)。
    如果该规格实例库存不足，您也可以选择其他GPU实例。
提交任务：单击页面底部的确定，页面将自动跳转至任务详情。
等待任务状态变为已成功后，即可在评测报告页签了解Qwen3-4B模型在CMMLU数据集上的表现。

配置详解

配置评测模式

模型评测支持以下三种评测模式，您可以根据实际需求选择合适的模式。

评测模式	说明
单模型在线评测	适合对单模型在线推理生成的结果进行打分。
双模型在线竞技	通过在线跑推理任务的方式，对比两个模型在相同问题下的回答表现，选出效果更好的模型。
双模型离线竞技	通过提供已处理好的问题-回答数据集，对比两个模型在相同问题下的表现，选出效果更好的模型。

配置评测对象

模型评测支持五种评测对象来源，您可以根据模型或服务的部署位置灵活选择。

评测对象	说明	适用场景
PAI Token服务	PAI Token 服务中提供的模型服务	评测 Token 服务中已部署的模型
公共模型	PAI平台Model Gallery中的模型	快速评估主流开源大模型效果
自定义模型	在AI资产管理 > 模型注册的自定义模型重要请确保vLLM框架可兼容该模型。	评估经过微调或定制的模型
PAI-EAS服务	已部署的PAI-EAS在线推理服务	评估生产环境中的模型服务
自定义服务	任意符合OpenAI接口规范的模型服务	评估第三方或自建模型服务

重要

评测对象为公开模型或自定义模型时，模型需兼容 HuggingFace AutoModelForCausalLM 架构。

配置评测方式

您可以选择使用自定义数据集或公开数据集进行评测。自定义数据集适用于贴近实际业务场景的评测；公开数据集适用于与行业基准对比的通用能力评估。

自定义数据集评测

在自定义数据集上评测模型，支持通用NLP指标评测和基于裁判员模型的多指标评测两种评测方法（可多选），区别如下：

重要

数据集必须是 JSONL 格式，UTF-8编码，每行一个 JSON 对象。上传至 OSS 后在配置页面填写路径。

	通用NLP指标评测	基于裁判员模型的多指标评测
适用场景	有明确标准答案，计算文本相似度。适用于翻译、摘要、知识库问答等任务。	无唯一标准答案，由裁判员模型从相关性、准确性等多维度评分。适用于开放式对话、内容创作等任务。
数据要求	必须包含 `question`（问题）和 `answer`（标准答案）两个字段。 `{"question": "中国的首都是哪里？", "answer": "北京"}`	可仅提供 `question`（问题）字段，也可同时提供 `answer`（标准答案）字段。 `{"question": "请介绍一下人工智能的发展历程"}`
核心指标	ROUGE（ROUGE-1、ROUGE-2、ROUGE-L）：基于召回率，衡量模型输出覆盖了多少标准答案中的信息点。 BLEU（BLEU-1、BLEU-2、BLEU-3、BLEU-4）：基于精确率，衡量模型输出中有多少内容是准确的。	包括正确性、幻觉度、有害性、指令遵循度、相关性，支持自定义评估指标。

公开数据集评测

在权威公开数据集上评测模型：通过在多种公开数据集上加载并执行模型预测，根据每个数据集特定的评价框架，为您提供行业标准的评估参考。

说明

GSM8K、HellaSwag 数据集较大，任务所需时间预计较长。

数据集名称	描述	语言
LiveCodeBench	代码处理能力评测。	en
Math500	数学推理能力评测（500 道高难度的数学竞赛题目）。	en
AIME25	数学推理能力评测（基于 2025 年美国数学邀请赛题目）。	en
AIME24	数学推理能力评测（基于 2024 年美国数学邀请赛题目）。	en
CMMLU	中文多学科语言理解评测。	zh
MMLU	英文多学科语言理解评测。	en
C-Eval	中文综合能力评估。	zh
GSM8K	数学推理能力评测。	en
HellaSwag	常识推理能力评测（Allen Institute for AI 开发的高级基准，通过上下文填空任务挑战模型对语境和逻辑关系的理解）。	en
TruthfulQA	真实性评测。	en

管理任务

停止：执行中的任务，可以手动停止。此操作不可逆，任务无法恢复执行，已消耗的计算资源不会退还。
删除：删除任务记录。此操作不可恢复。

查看评测结果

单任务结果

在评测任务列表页，单击目标评测任务操作列下的查看报告，进入评测任务详情页，在评测报告一栏查看评测得分。

自定义数据集评测结果

通用指标评测：通过雷达图展示模型在 ROUGE 和 BLEU 系列指标（共 13 个）上的得分。各指标含义详见附录：通用NLP评测指标说明。
裁判员模型评测：通过列表展示裁判员模型评分的统计指标：
- Mean：裁判员模型打分的平均值（不含无效打分），最低 1 分，最高 5 分，越大表示模型回答越好。
- Median：裁判员模型打分的中位数（不含无效打分），越大越好。
- Skewness：裁判员模型打分的分布偏度（不含无效打分），正偏度表示分布右侧（高分段）有较长尾部，负偏度表示左侧（低分段）有较长尾部。
- StandardDeviation：裁判员模型打分的标准差（不含无效打分），在均值和中位数相同情况下，标准差越小，模型越好。
页面底部展示每条数据的评测详情，包含问题、模型回答、参考答案等列，支持通过右上角导出报告按钮下载评测数据。

公共数据集评测结果

如果评测任务选择了公开数据集，则通过雷达图展示模型在各公开数据集上的得分。

左侧图片展示模型在不同领域的得分情况。每个领域可能包含多个相关数据集，同一领域的数据集得分取均值作为领域得分。
右侧图片展示模型在各个公开数据集的得分情况。评测范围详见各数据集官方介绍。

雷达图下方为评测结果表格，包含数据集名称、语言、得分列。表格右上角提供导出报告按钮，支持导出评测数据。

多评测任务对比

在评测任务列表页左侧勾选 2~5 个已成功的评测任务，单击右上角对比按钮，进入对比页面。

在自定义数据集评测结果页签中，以表格形式对比各模型的裁判员评测指标（Mean、Median、StandardDeviation、Skewness），以雷达图对比各模型在 BLEU 和 ROUGE 各维度上的表现，并提供详细指标数据表格。
在公共数据集评测结果页签中，通过雷达图和数据表格对比各模型在不同领域和各数据集上的得分分布。

计费说明

计算资源：评测任务运行在 DLC 计算资源上，支持公共资源和资源配额，详见分布式训练（DLC）计费说明。
OSS 存储：评测数据集和结果存储在 OSS 中，按 OSS 计费规则收费。请参见OSS计费说明。
PAI Token 服务：评测对象选择 PAI Token 服务，或裁判员模型选择pai-judge/pai-judge-plus 以外的模型时，产生 Token 消耗费用。详细计费规则参见PAI Token服务计费说明。
裁判员模型：选择裁判员模型评测时，若裁判员模型选择 pai-judge 或 pai-judge-plus，按裁判员模型计费，详见裁判员模型计费说明。

附录：通用NLP评测指标说明

自定义数据集通用指标评测中各指标的详细定义。

ROUGE 指标

ROUGE 系列指标衡量模型预测与标准答案的相似度。

rouge-n 类指标计算 N-gram（连续的 N 个词）的重叠度。rouge-1 和 rouge-2 分别对应 unigram 和 bigram 的重叠度。
rouge-l 指标基于最长公共子序列（LCS）。
各指标后缀：-p（精确率）、-r（召回率）、-f（F-score）。

指标	说明
rouge-1-p	系统摘要中的 unigram 与参考摘要中的 unigram 匹配的比例。
rouge-1-r	参考摘要中的 unigram 在系统摘要中出现的比例。
rouge-1-f	rouge-1-p 和 rouge-1-r 的调和平均数。
rouge-2-p	系统摘要中的 bigram 与参考摘要中的 bigram 匹配的比例。
rouge-2-r	参考摘要中的 bigram 在系统摘要中出现的比例。
rouge-2-f	rouge-2-p 和 rouge-2-r 的调和平均数。
rouge-l-p	LCS 长度与系统输出长度之比（精确率）。
rouge-l-r	LCS 长度与参考答案长度之比（召回率）。
rouge-l-f	rouge-l-p 和 rouge-l-r 的调和平均数。

BLEU 指标

BLEU（Bilingual Evaluation Understudy）通过测量模型输出与参考答案之间的 N-gram 重叠度来评分。

指标	含义
bleu-1	考察 unigram 的匹配。
bleu-2	考察 bigram 的匹配。
bleu-3	考察 trigram（连续三个词）的匹配。
bleu-4	考察 4-gram 的匹配。