ECS资源复用版

ECS资源复用版是MaxCompute按量付费类型中的一种实例规格,旨在将ECS闲置实例转换为可用的MaxCompute计算资源,该方式可以充分利用已有的计算资源,而不需要额外购买新的MaxCompute计算资源,从而在满足大数据处理需求的同时,提高资源利用率并降低总体资源成本。本文为您介绍MaxCompute-ECS资源复用版的应用场景、资源说明和计费说明,并帮助您了解注意事项和使用方法。

应用场景

MaxCompute-ECS资源复用版适用于拥有ECS闲置资源并且面临大数据计算需求的客户。ECS资源复用版可通过资源共享将您的ECS立即生效容量预定(下文简称为CR)共享至MaxCompute,共享后,MaxCompute将在共享时段内有权通过服务账号购买您预定单内的ECS实例,并部署MaxCompute服务,将ECS实例转换为您可直接使用的MaxCompute计算资源,旨在为您降低在ECS资源闲置的情况下,使用云服务的总体资源成本。

场景示例

假设客户A长期购买的CR,包含50台规格为ecs.g6.6xlarge(24 vCPU 96 GiB)的ECS实例。其中30台ECS实例创建后长期持有,剩余20台仅在每天10:00~23:00有使用需求,其余时间闲置。

客户A在MaxCompute购买了包年包月计算资源500 CU,用于满足00:00~08:00的离线计算作业需求。

客户开通ECS资源复用版后,可将CR共享至MaxCompute,并将共享时间段设置为00:00~09:00。MaxCompute将在00:00购买CR内未被占用的20台ECS实例,并部署服务,将其转换为24*20=480 CU的计算资源,直接用于MaxCompute作业计算,以实现ECS空闲资源的复用,并在09:00结束服务,释放ECS实例,将可用额度归还至CR。共享时段结束后,客户也可通过指定私有池ID的方式自行购买CR内预留的ECS实例,实现成本和收益最大化,自行购买CR内ECS实例的操作详情请参见使用私有池容量创建实例

前提条件

已开通MaxCompute按量付费标准版,详情请参见开通MaxCompute

说明

开通MaxCompute按量付费标准版后,才可开通ECS资源复用版。

服务说明

开通MaxCompute按量付费ECS资源复用版后,意味着您可在ECS资源闲置的情况下,购买CR内的ECS实例并部署MaxCompute服务。OnEcs资源部署服务将根据成功部署并转换的CU量进行收费。

服务

服务说明

计费说明

OnEcs资源部署服务

MaxCompute将在共享时段内有权通过服务账号购买您CR内的ECS实例,并部署MaxCompute服务,将ECS实例转换为您可直接使用的MaxCompute计算资源。

说明
  • MaxCompute计算资源的基本单位定义为CU(Compute Unit),1 CU=4 GB内存+1 CPU Core。

  • MaxCompute可转换的计算资源CU量由购买成功的ECS实例规格与数量决定。例如:10台规格为ecs.g6.6xlarge(24vCPU,96GiB内存)的ECS实例可转换为240 CU的MaxCompute计算资源,服务费按照实际转换值收取。

  • 根据MaxCompute在共享的ECS资源上成功部署所转换的CU量收取服务费用。计费信息如下:

    • 计费项名称:OnEcs服务费

    • 计费项code:OnEcsCU

    • 归属产品明细:大数据计算服务MaxCompute(按量付费)

    • 公共云单价:0.15元/CU/小时。

  • ECS实例的计算资源(vCPU和内存)费用仍由云服务器ECS收取,以share_aliyun_used形式体现在云服务器ECS-立即生效容量预定(CR)的计费项中,详情请参见ECS计费概述

说明

MaxCompute服务费涵盖部署服务所需磁盘及网络费用,您无需为此额外付费。

使用限制

ECS资源复用版对地域及ECS实例的支持情况如下:

  • 支持的地域:华东2(上海)。

  • ECS实例购买类型:立即生效容量预定

  • ECS实例私有资源池类型专有。更多信息请参见私有池服务

  • ECS实例可用区:上海 可用区E、上海 可用区F、上海 可用区G、上海 可用区L。更多介绍请参见ECS地域和可用区

  • ECS实例规格:ecs.g6.6xlarge、ecs.g6.8xlarge、ecs.g7.6xlarge、ecs.g7.8xlarge、ecs.hfg6.6xlarge、ecs.hfg6.8xlarge、ecs.hfg7.6xlarge、ecs.hfg7.8xlarge、ecs.u1-c1m4.8xlarge。更多介绍请参见选择实例规格

注意事项

  • ECS资源复用版仅包含MaxCompute资源部署服务费用,MaxCompute存储和下载费用依据按量付费标准版收取。

  • 一个ECS立即生效容量预定(CR)仅可存在于一个生效的资源共享单元内,CR被释放或资源共享单元被删除,都会导致共享关系失效。

  • 通过ECS资源复用转换而来的MaxCompute计算资源目前仅可用于运行SQL类型的作业。

  • 为避免因作业占满资源导致实例异常甚至宕机,MaxCompute在ECS实例上部署服务时会为操作系统以及组件预留一定资源。

使用说明

  1. 开通MaxCompute-ECS资源复用版。

    1. 登录阿里云MaxCompute按量付费开通页面

    2. 商品类型选择按量付费规格类型选择ECS资源复用版,并配置地域信息。

    3. 单击立即购买,阅读并勾选服务协议后,单击立即开通

    开通购买成功后,可在配额(Quota)管理页面查看到系统默认创建分配的ECS资源复用版一级Quota os_EcsQuota_p以及二级Quota os_EcsQuota

    重要
    • ECS资源复用版开通后不可退订,若不进行ECS资源共享,则不会产生OnEcs资源部署服务费用。

    • 开通时如遇报错“当前用户不支持开通ECS资源复用版”,可通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群联系MaxCompute技术支持。

  2. 登录ECS管理控制台,购买ECS立即生效容量预定(CR)

    操作步骤请参见购买资源预定,其中重点参数配置如下:

    类别

    参数

    描述

    所需资源信息

    地域/可用区

    与MaxCompute-ECS资源复用版的开通地域保持一致。

    资源规格

    选择符合限制条件的实例规格:ecs.g6.6xlarge、ecs.g6.8xlarge、ecs.g7.6xlarge、ecs.g7.8xlarge、ecs.hfg6.6xlarge、ecs.hfg6.8xlarge、ecs.hfg7.6xlarge、ecs.hfg7.8xlarge、ecs.u1-c1m4.8xlarge。

    预留数量

    期望共享的ECS实例数量。

    预定资源方式

    预订方式

    选择容量预定-立即生效

    私有资源池信息

    私有资源池类型

    选择专有

    说明

    若您的ECS闲置资源为普通ECS资源,可以将其退订后,重新购买CR资源,实现资源共享。

  3. 创建资源共享单元。

    1. 登录资源中心控制台

    2. 在左侧导航栏,选择资源共享 > 我的共享

    3. 在顶部菜单栏左上角处,选择共享资源所在的地域。

    4. 单击创建共享单元

    5. 配置基本信息并添加资源页面,输入共享单元名称,选择资源类型为容量预定并勾选需要共享的预定资源,单击下一步

      说明

      ECS资源预定(CR)共享功能正在灰度发布中,如您发现无法在资源类型中选择容量预定,请及时通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群联系MaxCompute技术支持。

    6. 关联权限页面,选择共享权限AliyunRSDefaultPermissionCapacityReservation,然后单击下一步

    7. 关联资源使用者页面,使用者类型选择云服务主体使用者信息选择云原生大数据计算服务 MaxCompute,选择每日共享时间段(默认为全天),单击添加,然后单击下一步

      重要
      • 共享单元创建成功后不支持修改共享时间段,请谨慎选择,如需调整仅可删除后重新创建。

      • 共享时间段内,MaxCompute服务账号实际购买资源量取决于当时资源预定的占用情况。例如:共享单元的资源预定(CR)中包含50台规格为ecs.g6.6xlarge的ECS实例,共享时段为02:00~08:00,02:00起,MaxCompute开始购买CR中的ECS实例,在CR内实例完全没有被占用的情况下,即在ECS资源预定界面显示CR台数为0/50,同时ECS库存充足,则MaxCompute在02:00可成功购买50台同规格的ECS实例;若CR存在被占用情况,如在ECS资源预定界面显示CR台数为30/50,则MaxCompute在02:00仅可购买20台同规格的ECS实例。并在08:00前持续尝试购买剩余的30台机器,直至共享时段结束。

      • MaxCompute服务账号购买ECS实例及部署服务需要花费一定时间,通常在5分钟内完成购买,10分钟内完成服务部署,因此建议预留缓冲时间。

    8. 确认并提交页面,单击确定

    更多资源共享相关信息请参见资源共享

  4. 查看ECS资源复用版Quota具体信息。

    1. 登录MaxCompute控制台,在左上角选择已开通ECS资源复用版的地域。

    2. 在左侧导航栏,选择工作区 > 配额(Quota)管理

    3. Quota管理页面,单击一级Quota os_EcsQuota_p左侧的image图标可以展开二级Quota列表。二级Quota列表包含以下信息:

      参数名

      描述

      计划CU上限

      指共享单元中包含的ECS实例的vCPU总数。

      例:共享单元中的ECS立即生效容量预定(CR)中,包含50台规格为ecs.g6.6xlarge(24 vCPU 96 GiB)的ECS实例计划CU上限为24*50=1200。若无共享关系存在,则为0。

      共享实例详情

      指共享单元中包含的ECS实例规格及数量。

      示例:规格:ecs.g6.6xlarge,数量:50。若无共享关系存在,则为'-'。

      实际可用CU

      指MaxCompute实际购买成功的ECS实例的vCPU总数。

      示例:共享单元中的ECS立即生效容量预定(CR)中,包含50台规格为ecs.g6.6xlarge(24 vCPU 96 GiB)的ECS机器,共享时段为02:00~08:00,02:00起,由于CR内实例存在被占用情况,MaxCompute实际购买了20台同规格的ECS实例,并部署服务,则实际可用CU为24*20=480,并在08:00前持续尝试购买剩余的30台机器,比如05:00又成功购买到10台机器并部署服务,则实际可用CU会增加为24*30=720。若无共享关系存在或未在共享时段内,则为0。

      购买成功实例详情

      指MaxCompute实际购买成功的ECS实例规格及数量。

      示例:规格:ecs.g6.6xlarge,数量:30。若无共享关系存在或未在共享时段内,则为'-'。

  5. MaxCompute项目绑定ECS共享资源。

    • 新增项目:可在新建项目时配置默认Quotaos_EcsQuota

    • 存量项目:可在项目管理页面,单击目标项目操作列的管理,在参数配置页签的基础信息区域,修改默认计算Quotaos_EcsQuota

  6. 使用ECS共享资源运行作业。MaxCompute将共享的ECS资源转换为MaxCompute计算资源Quota,使用方式与其他类型的计算Quota保持一致,具体请参见计算资源使用

    通常情况下,在绑定os_EcsQuota的项目下发起的作业默认为使用ECS共享资源,但若在作业的Query前指定了其他运行Quota,如默认后付费Quota,那么该作业将使用按量付费标准版计算资源。同样,在未绑定os_EcsQuota的项目下,也可以通过在作业的Query前使用如下命令指定计算Quota为os_EcsQuota,此时该作业将使用ECS共享资源。

    set odps.task.wlm.quota=os_EcsQuota;
    重要
    • 使用ECS共享资源运行作业前,请务必提前提交申请表单,申请功能选择项目使用ECS共享资源,准确填写需要发起作业的项目名称及地域,我们将进行项目的后台参数配置,否则作业会由于无法调度到ECS导致运行失败。

    • ECS共享资源无法支持作业以smode模式运行,因此在作业的Query前使用命令set odps.service.mode=off显式关闭smode开关,否则作业将无法正常调度至ECS。

    • 查询加速(MCQA)成功的作业无法使用命令指定计算Quota,作业消费将仍计入作业执行项目绑定的默认计算Quota。包括但不限于在MaxCompute控制台使用SQL分析连接、DataWorks创建临时查询中发起的查询加速作业。

  7. 进行资源观测。您可以在资源观测页面查看ECS资源复用版Quota的资源购买及消耗情况。

    1. 登录MaxCompute控制台,在左上角选择地域。

    2. 在左侧导航栏单击资源观测

    3. 资源观测页面选择计算资源页签。

    4. 选择os_EcsQuota_p和需要观测的时间区间。

    5. 单击os_EcsQuota左侧的image.png图标,可以查看os_EcsQuota的CU上限、CU可用及CU消耗情况。具体指标如下:

      资源

      参数名

      描述

      CPU资源

      共享CPU可用

      MaxCompute实际购买成功的ECS实例的vCPU总数。

      共享CPU计划上限

      共享单元中包含的ECS实例的vCPU总数。

      共享CPU使用

      实际作业运行使用的vCPU数量。

      Memory资源

      共享内存可用

      MaxCompute实际购买成功的ECS实例的内存总数。

      共享内存计划上限

      共享单元中包含的ECS实例的内存总数。

      共享内存使用

      实际被使用的内存数量。

      说明

      ECS共享资源可用值小于计划上限值,可能是由于ECS资源预定容量不足或ECS库存不足,请前往ECS资源预定查看。

    6. 查看os_EcsQuota关联的项目列表。

查看账单详情

费用介绍

使用MaxCompute-ECS资源复用版,将ECS资源转换为MaxCompute计算资源,整体包含两部分费用:

  • ECS实例费用:通常,客户通过CR直接开通的ECS实例费用,由云服务器ECS-按量付费产品收取。为了加以区分,MaxCompute在共享时段内通过服务账号代客户购买的ECS实例的计算资源(vCPU和内存)费用,以share_aliyun_used形式体现在云服务器ECS-即时生效容量预定(CR)的计费项中,详情请参见计费概述。您可以前往ECS价格详情页查询实例的对应价格。

  • MaxCompute资源部署服务费用:由MaxCompute产品收取,按MaxCompute在共享的ECS资源上成功部署转换而来的CU收费。公共云单价为0.15元/CU/小时。

说明

MaxCompute服务费用包括部署服务所需磁盘及网络费用,您无需额外付费。

费用查看

您可以登录阿里云控制台,在顶部菜单栏单击费用,进入费用中心,单击账单详情 > 明细账单,查看ECS实例费用与MaxCompute资源部署服务费用。

账单示例

客户开通华东2(上海)地域ECS资源复用版后,可将CR内的50台规格为ecs.g6.6xlarge(24 vCPU 96 GiB)的ECS实例共享至MaxCompute,并将共享时间段设置为00:00~09:00。

阶段1:假设在2023年12月30日,客户已经自行购买了30台ECS实例,MaxCompute在00:00仅可购买CR内未被占用的20台实例,并部署服务,可转换为24*20=480CU的计算资源,则00:00~01:00的账单详情(部分字段)示例如下:

产品

产品明细

消费时间

实例ID

计费项code

单价

用量

官网价

云原生大数据计算服务 MaxCompute

大数据计算服务MaxCompute(按量付费)

2023-12-30 00:00~2023-12-30 01:00

os_EcsQuota_p;cn-shanghai

OnEcsCU

0.15元/CU*H

480 CU*H

¥72

云服务器 ECS

即时生效容量预定

2023-12-30 00:00~2023-12-30 01:00

crp-***;share_aliyun_used;cn-beijing-btc-***

立即生效容量

6元/计算时

20 计算时

¥120

说明

CR内客户自行购买的ECS实例相关费用会体现在云服务器ECS-按量付费产品明细中。

阶段2:MaxCompute在共享时段内持续尝试购买,假设客户在03:55释放了自行购买的30台ECS实例,MaxCompute服务账号在04:00购买到剩余的30台ECS实例,并部署服务,可转换为24*30=720CU的计算资源,此时转换而来的CU量共计1200。则04:00~05:00的账单详情(部分字段)示例如下:

产品

产品明细

消费时间

实例ID

计费项code

单价

用量

官网价

云原生大数据计算服务 MaxCompute

大数据计算服务MaxCompute(按量付费)

2023-12-30 04:00~2023-12-30 05:00

os_EcsQuota_p;cn-shanghai

OnEcsCU

0.15元/CU*H

1200 CU*H

¥180

云服务器 ECS

即时生效容量预定

2023-12-30 04:00~2023-12-30 05:00

crp-***;share_aliyun_used;cn-beijing-btc-***

立即生效容量

6元/计算时

50 计算时

¥300

阶段3:09:00共享结束,MaxCompute释放ECS共享资源,客户也没再自行购买CR内的实例,则09:00~10:00的账单详情(部分字段)示例如下:

产品

产品明细

消费时间

实例ID

计费项code

单价

用量

官网价

云原生大数据计算服务 MaxCompute

大数据计算服务MaxCompute(按量付费)

2023-12-30 09:00~2023-12-30 10:00

os_EcsQuota_p;cn-shanghai

OnEcsCU

0.15元/CU*H

0 CU*H

¥0

云服务器 ECS

即时生效容量预定

2023-12-30 09:00~2023-12-30 10:00

crp-***;share_aliyun_used;cn-beijing-btc-***

立即生效容量

6元/计算时

0 计算时

¥0

云服务器 ECS

即时生效容量预定

2023-12-30 09:00~2023-12-30 10:00

crp-***;share_aliyun_used;cn-beijing-btc-***

立即生效容量

6元/计算时

50 计算时

¥300

说明

上述示例为理想情况下的账单详情,实际上共享资源完全购买并部署服务和释放需要消耗一定时间,用量以实际转换和使用值为准。

常见问题

开通时报错“当前用户不支持开通ECS资源复用版”,怎么办?

请及时通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群与我们联络。

创建资源共享单元时无法选择资源预定类型,什么原因?

ECS资源预定(CR)共享功能正在灰度发布中。如您发现无法在资源类型中选择容量预定,请及时通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群与我们联络。

选择共享资源时找不到ECS资源预定(CR),什么原因?

ECS当前仅支持共享专用模式的容量预定服务,请前往ECS控制台查看CR详情。

创建资源共享单元报错“暂不支持共享至MaxCompute”,什么原因?

说明您共享至MaxCompute的ECS资源预定有以下任意属性不符合条件,请仔细核对后重新共享符合条件的ECS资源预定(CR):

  • 可用区:上海 可用区E、上海 可用区F、上海 可用区G、上海 可用区L。

  • 实例规格:ecs.g6.6xlarge,ecs.g6.8xlarge,ecs.g7.6xlarge,ecs.g7.8xlarge,ecs.hfg6.6xlarge,ecs.hfg6.8xlarge,ecs.hfg7.6xlarge,ecs.hfg7.8xlarge,ecs.u1-c1m4.8xlarge。

使用os_EcsQuota的作业提交后无法运行,什么原因?

  • 原因一:共享时间未到,EcsQuota的可用CU值为0,作业提交后处于等待资源状态。

    解决方案:等待共享时间到达,EcsQuota的可用CU值增加,作业即可成功运行。

  • 原因二:没有申请修改项目的后台参数配置,作业无法调度到ECS,导致无法正常运行。

    解决方案:提交申请表单,申请功能选择项目使用ECS共享资源,准确填写需要发起作业的项目名称及地域,我们将进行项目的后台参数配置。

os_EcsQuota的资源可用值小于计划上限值,什么原因?

可能是由于ECS资源预定可用量不足或ECS库存不足,请前往ECS资源预定查看。若可用量正常,请及时通过工单或搜索(钉钉群号:11782920)加入MaxCompute开发者社区钉群与我们联络。

os_EcsQuota的资源可用值存在小范围波动,什么原因?

Quota组的资源可用值可能会发生小范围波动,是因为部分ECS实例发生短暂不可调度,相对应的资源值被扣减,原因包括但不限于:机器负载异常、磁盘使用异常、机器软件部署异常等。这种情况属于正常偶发现象,持续时间短,不会影响整体作业的正常运行。且OnECS资源部署服务费用依据可用值收取,因此无法调度的资源也不会增收服务费。

os_EcsQuota的资源使用量始终无法达到可用值,什么原因?

为避免因作业占满资源导致实例异常甚至宕机,MaxCompute在ECS实例上部署服务时需要为操作系统以及组件预留一定资源,因此资源使用量始终无法达到可用值属于正常现象。