模型(Model)是MaxCompute中的核心对象之一。MaxCompute支持公共模型、导入模型、远程模型等多种类型的模型,并提供统一的模型与模型版本管理能力,帮助用户更便捷地将模型能力融入业务分析流程。本文将介绍MaxCompute模型对象的基本概念、功能优势、模型类型,以及模型的管理与使用方式。
模型介绍
概念
模型(Model):模型是在MaxCompute中注册的、可用于预测或生成任务的部署对象,旨在将大语言模型、机器学习模型等AI计算能力无缝集成到用户数据所在的同一个平台中。
模型版本(Model_Version):模型版本是模型对象的一个独立、可唯一标识的子对象。在同一个模型名称下可以创建并管理多个迭代版本,从而在调用模型与AI Function时,实现更简单的新旧版本的灰度控制、快速回滚和效果对比。
功能优势
统一管理:MaxCompute提供了多种模型类型。模型和数据一样,可以进行权限管理、版本控制,符合企业的安全和合规要求。
多引擎对接:MaxCompute支持了SQL和Python(MaxFrame)等多种生态的模型调用。通过统一架构,不仅支持数据分析师使用熟悉的SQL来调用强大的AI模型,也让数据科学家能基于MaxFrame提供的分布式Python计算能力,结合模型持续提升数据预处理的效率与质量。
简化运维:无需将数据导出到外部系统进行AI的推理计算,避免了数据移动带来的安全、成本和延迟问题。
模型类型
MaxCompute提供了不同类型的模型:
模型类型 | 能力描述 | 实践教程 |
公共模型 |
说明
| |
远程模型 | 支持对接PAI-EAS上已经部署好的模型,指定访问PAI-EAS所需的Endpoint和token,可注册为MaxCompute远程模型,从而使用AI Function调用模型。 | |
内部训练模型 | 支持使用MaxCompute MaxFrame训练传统机器学习模型,执行 | |
导入模型 Import Model | 实际业务场景中,内置公共模型可能无法完全满足业务需求,而经过算法调优后的模型则可能会根据业务效果进行相应的调整,实现更好的效果。 支持导入在外部训练调优后保存的自定义模型文件,通过指定OSS模型文件地址导入至MaxCompute,供后续推理使用。 | 逐步上线 |
内置的公共模型或在项目中已创建并可管理的其他类型模型,均可通过MaxCompute提供的AI Function调用。
模型管理
在模型管理前,请确保当前账户已具备模型对象操作权限。
模型对象管理方式:
管理方式
使用说明
支持通过SQL语句管理模型,支持模型的创建、查看、修改、删除。
支持通过MaxFrame Python语言管理模型,当前仅支持创建模型。
使用控制台管理模型
提供了产品控制台白屏化的模型管理界面,对于当前已完成控制台适配的区域,支持通过控制台查看已创建的模型。
使用步骤如下:
登录MaxCompute控制台,在左上角选择地域。
在左侧导航栏,选择。
在项目管理页面,单击目标项目操作列的管理。
在项目配置页面,选择Models页签。
可以查看内置在
BIGDATA_PUBLIC_MODELSET公共项目下的公共模型及版本信息,或查看已创建的其他类型模型及版本信息。
说明目前仅在华北2(北京)地域提供控制台管理模型的能力,其他地域逐步上线中。