您可以先购买并创建不同类型的MaxCompute资源配额,然后从PAI进行模型开发,再提交至MaxCompute进行大规模分布式训练。本文为您介绍用于PAI的模型训练的MaxCompute资源的要求和配置要点。
MaxCompute资源
MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化运维投入,使您可以经济并高效地分析处理海量数据。有关MaxCompute资源的详细信息请参见MaxCompute资源概述。
MaxCompute资源类型与对比选择
在PAI产品中支持使用的MaxCompute资源分类如下:
CPU资源
和在MaxCompute产品中使用一样,支持以下两种付费方式:
按量计费标准版(推荐使用)
包年包月标准计算资源
GPU资源
仅支持在PAI产品中使用,支持以下两种付费方式:
按量计费标准版(推荐使用)
包年包月标准计算资源
其中仅CPU资源使用按量计费时,支持使用抵扣包:
计算抵扣包
存储抵扣包
各类型的主要区别如下。
MaxCompute的所有计费项包含计算资源费用、存储资源费用、上传/下载资源费用三部分。在PAI的训练任务使用场景下通常不涉及上传/下载资源。
使用按量计费后,在计算资源费用中,算法任务的账单出现在PAI产品下,其他任务(例如:SQL类任务)的账单出现在MaxCompute产品下。
对比项 | 按量计费标准版(推荐使用) | 包年包月标准计算资源 | 计算抵扣包 | 存储抵扣包 |
计算资源 (用于任务训练计算) | 资源池为共享型,计算作业按需抢占资源,不可指定用量也无使用限制。 | 包含预留计算资源(独享资源)和非预留计算资源(非必选资源)。 | 计算资源用量抵扣包。 | 无 |
存储资源 (用于存储训练结果表) | 资源池为共享型,按需存储,无使用限制。 | 资源池为共享型,按需存储,无使用限制。 | 无 | 存储资源用量抵扣包。 |
计费规则-计算资源 | ||||
计费规则-存储资源 | 无 | |||
适用场景 | 作业量不稳定且需要灵活存储空间的项目。 | 已上线、可平稳运行的项目。 | 抵扣按量付费产生的计算用量。 | 抵扣标准存储和备份存储按量计费项的用量。 |
操作账号和权限要求
开通购买MaxCompute资源
您可前往MaxCompute通用购买页面,根据需要开通购买对应的MaxCompute资源。
使用与管理MaxCompute资源
已开通购买的MaxCompute资源可关联到某个工作空间中,便于工作空间内的任务使用。您也可以在MaxCompute的资源管理页面中将资源进一步规划管理。
绑定工作空间
在新建工作空间时,可以直接选择关联MaxCompute资源。在关联MaxCompute资源时,您可以编辑创建的资源配额实例的名称(即MaxCompute项目名称),同时可以选择是否开启GPU使用(部分地域支持)。后续,在此工作空间内创建的训练任务将会使用此关联的MaxCompute资源。
说明一个工作空间仅能关联一个MaxCompute资源。
您也可以在工作空间创建完成后,修改关联的MaxCompute资源。创建工作空间的操作请参见创建工作空间。
管理MaxCompute资源
您可以登录PAI控制台,在 页面查看当前地域可用的MaxCompute资源概况。
您可以查看当前MaxCompute资源的计算资源CU的配额情况,以及资源类型是预付费(包年包月类型)还是后付费(按量计费类型)。
您也可以单击资源管理进入MaxCompute页面,对后付费(按量计费类型)的资源进行进一步的配额规划设置。修改配额的操作请参见计算资源-Quota管理(新版)。