基线评测内置覆盖通用知识、数学、代码、上下文推理、领域专项 5 大类共 13 个公开标准基线，无需自行准备数据集或配置评测维度，快速获得模型基础能力的基准分数。
创建基线评测任务概述
基线评测内置覆盖通用知识、数学、代码、上下文推理、领域专项 5 大类共 13 个公开标准基线，自动评测模型基础能力，无需自行准备数据集或配置评测维度，快速获得基准分数。
重要
基线评测仅北京地域可用。其他地域不显示此选项，属正常现象。
基线库
基线库按 5 大类组织：
- 通用知识：评估模型在多学科专业知识、多语言理解、指令遵循等通用能力上的表现。
- 数学：评估模型的数学推理与竞赛数学能力。
- 代码：评估模型的代码生成能力。
- 上下文推理：评估模型在长文本中的检索、理解与推理能力。
- 领域专项：评估模型在金融、医学等领域专业场景的能力。
各基线的标签、题目数量、评测维度与说明如下：
分类 | Benchmark | 标签 | 题目数 | 评测维度 | 说明 |
|---|---|---|---|---|---|
通用知识 | MMLU-Pro | 知识问答 10选项 | 12,032 | 14 项 | 涵盖 STEM 等 14 个学科领域的增强版多选题，测试专业知识与深度推理能力 |
通用知识 | MMMLU | 文本推理 多语言 | 196,588 | 14 项 | MMLU 多语言版，将测试题专业翻译为 14 种语言，评估多语言能力 |
通用知识 | BrowseComp-ZH-Revised | 推理 文本 中文 | 289 | — | 中文网络环境高难度基准，289 道跨 11 领域多跳问题 |
通用知识 | IFEval | 指令遵循 25种规则 | 541 | — | 涵盖格式约束、长度限制等 25 类可验证指令规则，评估精确遵循指令能力 |
数学 | GSM8K | 数学 文本 英文 | 1,319 | — | 小学数学应用题，需多步推理和基本算术，评估数学推理基础能力 |
数学 | MATH-500 | 数学推理 5难度级别 | 500 | 5 项 | 涵盖代数、几何、数论等 500 道分级竞赛数学题 |
数学 | AIME-2025 | 竞赛数学 整数答案 | 30 | — | 30 道高难度竞赛题，源自美国数学邀请赛 |
代码 | HumanEval | Python 函数生成 | 164 | — | 164 道 Python 函数生成题（含签名、文档字符串、测试用例），测试代码生成能力 |
上下文推理 | LongBench-v2 | 双语 6类任务 长文本 | 503 | 3 项 | 涵盖单/多文档问答、长上下文学习、代码仓库理解等 6 类双语长文本任务 |
上下文推理 | OpenAI-MRCR | 长上下文 共指消解 双语 | 2,400 | 3 项 | 多轮对话共指消解任务，测试超长上下文中精确检索和区分相似内容的能力 |
领域专项 | FinanceQA | 金融推理 数值计算 多步骤 | 148 | 3 项 | 对冲基金、投行等真实金融分析场景的多步骤数值计算题，测试金融推理能力 |
领域专项 | PubMedQA | 生物医学 三分类 文献QA | 1,000 | — | 基于 PubMed 文献摘要的研究类问答，答案为 yes/no/maybe 三分类 |
领域专项 | MedMCQA | 医学 21学科 MCQ | 4,183 | — | 涵盖解剖学、生理学、药理学等 21 个医学学科的多选题 |
创建流程
- 在百炼控制台，选择评测任务页签，单击创建评测任务。
- 评测方式选择基线评测。
- 选择要评测的目标模型。支持选择官方模型（千问系列商业模型与开源模型）和我的模型（已部署的调优模型）。
- 选择基线评测数据。基线库按 5 大类分 tab 展示，卡片含 benchmark 名称、标签、说明和题目数量，可多选。部分 benchmark 支持评测维度勾选，默认全部选中，可自定义取消只跑指定子维度数据。
- （可选）开启数据采样百分比开关，按百分比采样评测数据以缩短评测耗时；关闭则跑全量数据。
- 单击开始评测提交任务。费用按实际推理与评分消耗计算，提交前可查看计算详情。
与自定义评测的区别
- 基线评测不使用自定义评测维度，系统使用预设标准自动评分。
- 基线评测不支持推理结果集数据来源，仅使用平台预设的公开数据集。
- 基线评测任务在任务列表中显示综合得分，不显示维度详情列（显示短横线）。
- 基线评测任务不可进入人工标注页面。
自定义评测的创建请参见创建自定义评测任务。
常见问题
问题：创建评测任务时看不到基线评测选项。
基线评测仅限北京地域使用。如果您在其他地域，评测方式只显示自定义评测，这是预期行为。