ECS资源复用版是MaxCompute按量付费类型中的一种实例规格,旨在将ECS闲置实例转换为可用的MaxCompute计算资源,该方式可以充分利用已有的计算资源,而不需要额外购买新的MaxCompute计算资源,从而在满足大数据处理需求的同时,提高资源利用率并降低总体资源成本。本文为您介绍MaxCompute-ECS资源复用版的应用场景、资源说明和计费说明,并帮助您了解注意事项和使用方法。
应用场景
MaxCompute-ECS资源复用版适用于拥有ECS闲置资源并且面临大数据计算需求的客户。ECS资源复用版可通过资源共享将您的ECS立即生效容量预定(下文简称为CR)共享至MaxCompute,共享后,MaxCompute将在共享时段内有权通过服务账号购买您预定单内的ECS实例,并部署MaxCompute服务,将ECS实例转换为您可直接使用的MaxCompute计算资源,旨在为您降低在ECS资源闲置的情况下,使用云服务的总体资源成本。
场景示例
假设客户A长期购买的CR,包含50台规格为ecs.g6.6xlarge(24 vCPU 96 GiB)的ECS实例。其中30台ECS实例创建后长期持有,剩余20台仅在每天10:00~23:00有使用需求,其余时间闲置。
客户A在MaxCompute购买了包年包月计算资源500 CU,用于满足00:00~08:00的离线计算作业需求。
客户开通ECS资源复用版后,可将CR共享至MaxCompute,并将共享时间段设置为00:00~09:00。MaxCompute将在00:00购买CR内未被占用的20台ECS实例,并部署服务,将其转换为24*20=480 CU
的计算资源,直接用于MaxCompute作业计算,以实现ECS空闲资源的复用,并在09:00结束服务,释放ECS实例,将可用额度归还至CR。共享时段结束后,客户也可通过指定私有池ID的方式自行购买CR内预留的ECS实例,实现成本和收益最大化,自行购买CR内ECS实例的操作详情请参见使用私有池容量创建实例。
前提条件
已开通MaxCompute按量付费标准版,详情请参见开通MaxCompute。
开通MaxCompute按量付费标准版后,才可开通ECS资源复用版。
服务说明
开通MaxCompute按量付费ECS资源复用版后,意味着您可在ECS资源闲置的情况下,购买CR内的ECS实例并部署MaxCompute服务。OnEcs资源部署服务将根据成功部署并转换的CU量进行收费。
服务 | 服务说明 | 计费说明 |
OnEcs资源部署服务 | MaxCompute将在共享时段内有权通过服务账号购买您CR内的ECS实例,并部署MaxCompute服务,将ECS实例转换为您可直接使用的MaxCompute计算资源。 说明
|
说明 MaxCompute服务费涵盖部署服务所需磁盘及网络费用,您无需为此额外付费。 |
使用限制
ECS资源复用版对地域及ECS实例的支持情况如下:
注意事项
使用说明
开通MaxCompute-ECS资源复用版。
商品类型选择按量付费,规格类型选择ECS资源复用版,并配置地域信息。
单击立即购买,阅读并勾选服务协议后,单击立即开通。
开通购买成功后,可在配额(Quota)管理页面查看到系统默认创建分配的ECS资源复用版一级Quota
os_EcsQuota_p
以及二级Quotaos_EcsQuota
。重要ECS资源复用版开通后不可退订,若不进行ECS资源共享,则不会产生OnEcs资源部署服务费用。
开通时如遇报错“当前用户不支持开通ECS资源复用版”,可通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群联系MaxCompute技术支持。
登录ECS管理控制台,购买ECS立即生效容量预定(CR)。
操作步骤请参见购买资源预定,其中重点参数配置如下:
类别
参数
描述
所需资源信息
地域/可用区
与MaxCompute-ECS资源复用版的开通地域保持一致。
资源规格
选择符合限制条件的实例规格:ecs.g6.6xlarge、ecs.g6.8xlarge、ecs.g7.6xlarge、ecs.g7.8xlarge、ecs.hfg6.6xlarge、ecs.hfg6.8xlarge、ecs.hfg7.6xlarge、ecs.hfg7.8xlarge、ecs.u1-c1m4.8xlarge。
预留数量
期望共享的ECS实例数量。
预定资源方式
预订方式
选择容量预定-立即生效。
私有资源池信息
私有资源池类型
选择专有。
说明若您的ECS闲置资源为普通ECS资源,可以将其退订后,重新购买CR资源,实现资源共享。
创建资源共享单元。
登录资源中心控制台。
在左侧导航栏,选择资源共享 > 我的共享。
在顶部菜单栏左上角处,选择共享资源所在的地域。
单击创建共享单元。
在配置基本信息并添加资源页面,输入共享单元名称,选择资源类型为容量预定,并勾选需要共享的预定资源,单击下一步。
说明ECS资源预定(CR)共享功能正在灰度发布中,如您发现无法在资源类型中选择容量预定,请及时通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群联系MaxCompute技术支持。
在关联权限页面,选择共享权限AliyunRSDefaultPermissionCapacityReservation,然后单击下一步。
在关联资源使用者页面,使用者类型选择云服务主体,使用者信息选择云原生大数据计算服务 MaxCompute,选择每日共享时间段(默认为全天),单击添加,然后单击下一步。
重要共享单元创建成功后不支持修改共享时间段,请谨慎选择,如需调整仅可删除后重新创建。
共享时间段内,MaxCompute服务账号实际购买资源量取决于当时资源预定的占用情况。例如:共享单元的资源预定(CR)中包含50台规格为ecs.g6.6xlarge的ECS实例,共享时段为02:00~08:00,02:00起,MaxCompute开始购买CR中的ECS实例,在CR内实例完全没有被占用的情况下,即在ECS资源预定界面显示CR台数为0/50,同时ECS库存充足,则MaxCompute在02:00可成功购买50台同规格的ECS实例;若CR存在被占用情况,如在ECS资源预定界面显示CR台数为30/50,则MaxCompute在02:00仅可购买20台同规格的ECS实例。并在08:00前持续尝试购买剩余的30台机器,直至共享时段结束。
MaxCompute服务账号购买ECS实例及部署服务需要花费一定时间,通常在5分钟内完成购买,10分钟内完成服务部署,因此建议预留缓冲时间。
在确认并提交页面,单击确定。
更多资源共享相关信息请参见资源共享。
查看ECS资源复用版Quota具体信息。
登录MaxCompute控制台,在左上角选择已开通ECS资源复用版的地域。
在左侧导航栏,选择工作区 > 配额(Quota)管理。
在Quota管理页面,单击一级Quota
os_EcsQuota_p
左侧的图标可以展开二级Quota列表。二级Quota列表包含以下信息:参数名
描述
计划CU上限
指共享单元中包含的ECS实例的vCPU总数。
例:共享单元中的ECS立即生效容量预定(CR)中,包含50台规格为ecs.g6.6xlarge(24 vCPU 96 GiB)的ECS实例,则计划CU上限为24*50=1200。若无共享关系存在,则为0。
共享实例详情
指共享单元中包含的ECS实例规格及数量。
示例:
规格:ecs.g6.6xlarge,数量:50
。若无共享关系存在,则为'-'。实际可用CU
指MaxCompute实际购买成功的ECS实例的vCPU总数。
示例:共享单元中的ECS立即生效容量预定(CR)中,包含50台规格为ecs.g6.6xlarge(24 vCPU 96 GiB)的ECS机器,共享时段为02:00~08:00,02:00起,由于CR内实例存在被占用情况,MaxCompute实际购买了20台同规格的ECS实例,并部署服务,则实际可用CU为24*20=480,并在08:00前持续尝试购买剩余的30台机器,比如05:00又成功购买到10台机器并部署服务,则实际可用CU会增加为24*30=720。若无共享关系存在或未在共享时段内,则为0。
购买成功实例详情
指MaxCompute实际购买成功的ECS实例规格及数量。
示例:
规格:ecs.g6.6xlarge,数量:30
。若无共享关系存在或未在共享时段内,则为'-'。
MaxCompute项目绑定ECS共享资源。
新增项目:可在新建项目时配置默认Quota为
os_EcsQuota
。存量项目:可在项目管理页面,单击目标项目操作列的管理,在参数配置页签的基础信息区域,修改默认计算Quota为
os_EcsQuota
。
使用ECS共享资源运行作业。MaxCompute将共享的ECS资源转换为MaxCompute计算资源Quota,使用方式与其他类型的计算Quota保持一致,具体请参见计算资源使用。
通常情况下,在绑定
os_EcsQuota
的项目下发起的作业默认为使用ECS共享资源,但若在作业的Query前指定了其他运行Quota,如默认后付费Quota,那么该作业将使用按量付费标准版计算资源。同样,在未绑定os_EcsQuota
的项目下,也可以通过在作业的Query前使用如下命令指定计算Quota为os_EcsQuota
,此时该作业将使用ECS共享资源。set odps.task.wlm.quota=os_EcsQuota;
重要使用ECS共享资源运行作业前,请务必提前提交申请表单,申请功能选择项目使用ECS共享资源,准确填写需要发起作业的项目名称及地域,我们将进行项目的后台参数配置,否则作业会由于无法调度到ECS导致运行失败。
ECS共享资源无法支持作业以smode模式运行,因此在作业的Query前使用命令
set odps.service.mode=off
显式关闭smode开关,否则作业将无法正常调度至ECS。查询加速(MCQA)成功的作业无法使用命令指定计算Quota,作业消费将仍计入作业执行项目绑定的默认计算Quota。包括但不限于在MaxCompute控制台使用SQL分析连接、DataWorks创建临时查询中发起的查询加速作业。
进行资源观测。您可以在资源观测页面查看ECS资源复用版Quota的资源购买及消耗情况。
登录MaxCompute控制台,在左上角选择地域。
在左侧导航栏单击资源观测。
在资源观测页面选择计算资源页签。
选择
os_EcsQuota_p
和需要观测的时间区间。单击
os_EcsQuota
左侧的图标,可以查看os_EcsQuota
的CU上限、CU可用及CU消耗情况。具体指标如下:资源
参数名
描述
CPU资源
共享CPU可用
MaxCompute实际购买成功的ECS实例的vCPU总数。
共享CPU计划上限
共享单元中包含的ECS实例的vCPU总数。
共享CPU使用
实际作业运行使用的vCPU数量。
Memory资源
共享内存可用
MaxCompute实际购买成功的ECS实例的内存总数。
共享内存计划上限
共享单元中包含的ECS实例的内存总数。
共享内存使用
实际被使用的内存数量。
说明ECS共享资源可用值小于计划上限值,可能是由于ECS资源预定容量不足或ECS库存不足,请前往ECS资源预定查看。
查看os_EcsQuota关联的项目列表。
查看账单详情
费用介绍
使用MaxCompute-ECS资源复用版,将ECS资源转换为MaxCompute计算资源,整体包含两部分费用:
ECS实例费用:通常,客户通过CR直接开通的ECS实例费用,由云服务器ECS-按量付费产品收取。为了加以区分,MaxCompute在共享时段内通过服务账号代客户购买的ECS实例的计算资源(vCPU和内存)费用,以share_aliyun_used形式体现在云服务器ECS-即时生效容量预定(CR)的计费项中,详情请参见计费概述。您可以前往ECS价格详情页查询实例的对应价格。
MaxCompute资源部署服务费用:由MaxCompute产品收取,按MaxCompute在共享的ECS资源上成功部署转换而来的CU收费。公共云单价为0.15元/CU/小时。
MaxCompute服务费用包括部署服务所需磁盘及网络费用,您无需额外付费。
费用查看
您可以登录阿里云控制台,在顶部菜单栏单击费用,进入费用中心,单击账单详情 > 明细账单,查看ECS实例费用与MaxCompute资源部署服务费用。
账单示例
客户开通华东2(上海)地域ECS资源复用版后,可将CR内的50台规格为ecs.g6.6xlarge(24 vCPU 96 GiB)的ECS实例共享至MaxCompute,并将共享时间段设置为00:00~09:00。
阶段1:假设在2023年12月30日,客户已经自行购买了30台ECS实例,MaxCompute在00:00仅可购买CR内未被占用的20台实例,并部署服务,可转换为24*20=480CU的计算资源,则00:00~01:00的账单详情(部分字段)示例如下:
产品 | 产品明细 | 消费时间 | 实例ID | 计费项code | 单价 | 用量 | 官网价 |
云原生大数据计算服务 MaxCompute | 大数据计算服务MaxCompute(按量付费) | 2023-12-30 00:00~2023-12-30 01:00 | os_EcsQuota_p;cn-shanghai | OnEcsCU | 0.15元/CU*H | 480 CU*H | ¥72 |
云服务器 ECS | 即时生效容量预定 | 2023-12-30 00:00~2023-12-30 01:00 | crp-***;share_aliyun_used;cn-beijing-btc-*** | 立即生效容量 | 6元/计算时 | 20 计算时 | ¥120 |
CR内客户自行购买的ECS实例相关费用会体现在云服务器ECS-按量付费产品明细中。
阶段2:MaxCompute在共享时段内持续尝试购买,假设客户在03:55释放了自行购买的30台ECS实例,MaxCompute服务账号在04:00购买到剩余的30台ECS实例,并部署服务,可转换为24*30=720CU的计算资源,此时转换而来的CU量共计1200。则04:00~05:00的账单详情(部分字段)示例如下:
产品 | 产品明细 | 消费时间 | 实例ID | 计费项code | 单价 | 用量 | 官网价 |
云原生大数据计算服务 MaxCompute | 大数据计算服务MaxCompute(按量付费) | 2023-12-30 04:00~2023-12-30 05:00 | os_EcsQuota_p;cn-shanghai | OnEcsCU | 0.15元/CU*H | 1200 CU*H | ¥180 |
云服务器 ECS | 即时生效容量预定 | 2023-12-30 04:00~2023-12-30 05:00 | crp-***;share_aliyun_used;cn-beijing-btc-*** | 立即生效容量 | 6元/计算时 | 50 计算时 | ¥300 |
阶段3:09:00共享结束,MaxCompute释放ECS共享资源,客户也没再自行购买CR内的实例,则09:00~10:00的账单详情(部分字段)示例如下:
产品 | 产品明细 | 消费时间 | 实例ID | 计费项code | 单价 | 用量 | 官网价 |
云原生大数据计算服务 MaxCompute | 大数据计算服务MaxCompute(按量付费) | 2023-12-30 09:00~2023-12-30 10:00 | os_EcsQuota_p;cn-shanghai | OnEcsCU | 0.15元/CU*H | 0 CU*H | ¥0 |
云服务器 ECS | 即时生效容量预定 | 2023-12-30 09:00~2023-12-30 10:00 | crp-***;share_aliyun_used;cn-beijing-btc-*** | 立即生效容量 | 6元/计算时 | 0 计算时 | ¥0 |
云服务器 ECS | 即时生效容量预定 | 2023-12-30 09:00~2023-12-30 10:00 | crp-***;share_aliyun_used;cn-beijing-btc-*** | 立即生效容量 | 6元/计算时 | 50 计算时 | ¥300 |
上述示例为理想情况下的账单详情,实际上共享资源完全购买并部署服务和释放需要消耗一定时间,用量以实际转换和使用值为准。
常见问题
开通时报错“当前用户不支持开通ECS资源复用版”,怎么办?
请及时通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群与我们联络。
创建资源共享单元时无法选择资源预定类型,什么原因?
ECS资源预定(CR)共享功能正在灰度发布中。如您发现无法在资源类型中选择容量预定,请及时通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群与我们联络。
选择共享资源时找不到ECS资源预定(CR),什么原因?
ECS当前仅支持共享专用模式的容量预定服务,请前往ECS控制台查看CR详情。
创建资源共享单元报错“暂不支持共享至MaxCompute”,什么原因?
说明您共享至MaxCompute的ECS资源预定有以下任意属性不符合条件,请仔细核对后重新共享符合条件的ECS资源预定(CR):
可用区:上海 可用区E、上海 可用区F、上海 可用区G、上海 可用区L。
实例规格:ecs.g6.6xlarge,ecs.g6.8xlarge,ecs.g7.6xlarge,ecs.g7.8xlarge,ecs.hfg6.6xlarge,ecs.hfg6.8xlarge,ecs.hfg7.6xlarge,ecs.hfg7.8xlarge,ecs.u1-c1m4.8xlarge。
使用os_EcsQuota的作业提交后无法运行,什么原因?
原因一:共享时间未到,EcsQuota的可用CU值为0,作业提交后处于等待资源状态。
解决方案:等待共享时间到达,EcsQuota的可用CU值增加,作业即可成功运行。
原因二:没有申请修改项目的后台参数配置,作业无法调度到ECS,导致无法正常运行。
解决方案:提交申请表单,申请功能选择项目使用ECS共享资源,准确填写需要发起作业的项目名称及地域,我们将进行项目的后台参数配置。
os_EcsQuota的资源可用值小于计划上限值,什么原因?
可能是由于ECS资源预定可用量不足或ECS库存不足,请前往ECS资源预定查看。若可用量正常,请及时通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群与我们联络。
os_EcsQuota的资源可用值存在小范围波动,什么原因?
Quota组的资源可用值可能会发生小范围波动,是因为部分ECS实例发生短暂不可调度,相对应的资源值被扣减,原因包括但不限于:机器负载异常、磁盘使用异常、机器软件部署异常等。这种情况属于正常偶发现象,持续时间短,不会影响整体作业的正常运行。且OnECS资源部署服务费用依据可用值收取,因此无法调度的资源也不会增收服务费。
os_EcsQuota的资源使用量始终无法达到可用值,什么原因?
为避免因作业占满资源导致实例异常甚至宕机,MaxCompute在ECS实例上部署服务时需要为操作系统以及组件预留一定资源,因此资源使用量始终无法达到可用值属于正常现象。