模型评测

更新时间:
复制 MD 格式

Model Gallery 提供大语言模型评测入口,支持使用自定义数据集和公开数据集评测模型能力。

功能说明

Model Gallery 仅支持单模型评测,即对单个模型的在线推理结果进行打分。双模型竞技评测(双模型在线竞技和双模型离线竞技)需在独立的模型评测(ModelEval)中进行。

说明

通过 Model Gallery 创建的评测任务,可在以下两处查看和管理:

  • 模型评测(ModelEval)

创建评测任务

  1. 登录PAI控制台,在左侧导航栏选择快速开始 > Model Gallery。

  2. 在模型广场的支持操作筛选区选择评测过滤出可评测的模型。

    说明

    对于支持评测的模型,其二次训练后的模型也支持评测。在任务管理 > 训练任务中,单击目标任务进入详情页,右上角可看到评测按钮。

  3. 单击目标模型卡片进入详情页,在页面右上角单击评测。

评测模式和参数的完整说明,请参见模型评测(ModelEval)。