Model Gallery 提供大语言模型评测入口,支持使用自定义数据集和公开数据集评测模型能力。
功能说明
Model Gallery 仅支持单模型评测,即对单个模型的在线推理结果进行打分。双模型竞技评测(双模型在线竞技和双模型离线竞技)需在独立的模型评测(ModelEval)中进行。
说明
通过 Model Gallery 创建的评测任务,可在以下两处查看和管理:
Model Gallery > 任务管理 > 评测任务
模型评测(ModelEval)
创建评测任务
登录PAI控制台,在左侧导航栏选择快速开始 > Model Gallery。
在模型广场的支持操作筛选区选择评测过滤出可评测的模型。
说明对于支持评测的模型,其二次训练后的模型也支持评测。在任务管理 > 训练任务中,单击目标任务进入详情页,右上角可看到评测按钮。
单击目标模型卡片进入详情页,在页面右上角单击评测。
评测模式和参数的完整说明,请参见模型评测(ModelEval)。
该文章对您有帮助吗?