模型(Model)是MaxCompute中的核心对象之一。MaxCompute支持公共模型、导入模型、远程模型等多种类型的模型,并提供统一的模型与模型版本管理能力,帮助用户更便捷地将模型能力融入业务分析流程。本文将介绍MaxCompute模型对象的基本概念、功能优势、模型类型,以及模型的管理与使用方式。
模型介绍
概念
模型(Model):模型是在MaxCompute中注册的、可用于预测或生成任务的部署对象,旨在将大语言模型、机器学习模型等AI计算能力无缝集成到用户数据所在的同一个平台中。
模型版本(Model_Version):模型版本是模型对象的一个独立、可唯一标识的子对象。在同一个模型名称下可以创建并管理多个迭代版本,从而在调用模型与AI Function时,实现更简单的新旧版本的灰度控制、快速回滚和效果对比。
功能优势
统一管理:MaxCompute提供了多种模型类型。模型和数据一样,可以进行权限管理、版本控制,符合企业的安全和合规要求。
多引擎对接:MaxCompute支持了SQL和Python(MaxFrame)等多种生态的模型调用。通过统一架构,不仅支持数据分析师使用熟悉的SQL来调用强大的AI模型,也让数据科学家能基于MaxFrame提供的分布式Python计算能力,结合模型持续提升数据预处理的效率与质量。
简化运维:无需将数据导出到外部系统进行AI的推理计算,避免了数据移动带来的安全、成本和延迟问题。
模型类型
MaxCompute提供了不同类型的模型:
模型类型 | 能力描述 |
公共模型 | MaxCompute内置了开箱即用多种的开源大模型,预先创建在名称为 支持模型如下:
说明
使用MaxCompute公共模型的最佳实践具体请参见:使用MaxCompute公共模型进行网络评论情感分析。 |
远程模型 | 支持对接PAI-EAS上已经部署好的模型,指定访问PAI-EAS所需的Endpoint和token,可注册为MaxCompute远程模型,从而使用AI Function调用模型。 使用MaxCompute远程模型的最佳实践具体请参见:使用MaxCompute远程模型自动生成电商选品描述。 |
内部训练模型 | 支持用户使用MaxCompute Maxframe进行传统机器学习模型训练,执行 使用MaxCompute内部训练模型的最佳实践具体请参见:使用MaxCompute进行XGboost模型训练和预测。 |
导入模型 Import Model | 实际业务场景中,内置公共模型可能无法完全满足业务需求,而经过算法调优后的模型则可能会根据业务效果进行相应的调整,实现更好的效果。 支持用户导入在外部训练调优后保存的自定义模型文件,指定OSS模型文件地址,并导入至MaxCompute,供后续推理使用。 |
模型管理
在进行模型管理前,请确保已被授予Model对象操作的指定权限。详情参见MaxCompute权限。
MaxCompute提供了多种方式管理模型对象:
管理方式 | 使用说明 |
使用SQL管理模型 | 支持通过SQL语句管理模型,支持模型的创建、查看、修改、删除。 详情请参考:使用SQL创建与管理模型。 |
使用MaxFrame管理模型 | 支持通过MaxFrame Python语句管理模型,当前仅支持模型的创建。 详情请参考:MaxFrame特有API。 |
使用控制台管理模型 | 提供了产品控制台白屏化的模型管理界面,对于当前已完成控制台适配的区域,支持通过控制台查看已创建的模型。 使用步骤如下:
说明 目前仅在华北2(北京)地域提供控制台管理模型的能力,其他地域逐步上线中。 |
模型推理使用
内置的公共模型或在项目中已创建并可管理的其他类型模型,均可通过MaxCompute提供的AI Function调用,详情请参见MaxCompute AI Function介绍。
更多关于MaxCompute模型及AI Funtion整体使用的场景实践请参见: