模型蒸馏

更新时间:
复制 MD 格式

Model Gallery 提供模型蒸馏入口,支持从模型卡片一键创建通用蒸馏任务,将大参数量模型的知识迁移到小模型,降低推理成本。

功能说明

Model Gallery 的模型蒸馏功能基于阿里云自研框架PAI-EasyDistill,采用黑盒蒸馏方式,无需编码即可完成从数据构建到学生模型训练的全流程。

Model Gallery 仅支持创建通用蒸馏任务。如需使用场景化蒸馏模板(思维链推理、多模态、Agent工具调用等),请前往模型蒸馏 ModelDistill。

说明

通过 Model Gallery 创建的蒸馏任务,可在以下两处查看和管理:

  • 模型蒸馏(ModelDistill)> 任务列表

通过模型蒸馏 ModelDistill 页面创建的任务,仅在模型蒸馏任务列表中查看,不会出现在 Model Gallery 的任务管理中。

创建蒸馏任务

  1. 登录PAI控制台,在左侧导航栏选择快速开始 > Model Gallery。

  2. 在模型广场页面,在支持操作筛选项中勾选蒸馏,系统展示所有支持蒸馏的教师模型。

  3. 单击目标模型卡片进入详情页,在页面右上角单击蒸馏按钮,进入任务创建页面。

任务创建的完整操作步骤和参数配置说明,请参见通用蒸馏。