资源组管理
DataWorks资源组属于DataWorks的基础服务,为DataWorks上的各个功能模块提供计算资源,DataWorks资源组是您正常使用DataWorks的前提。资源组的状态将影响到相关功能的稳定运行,资源组的配额将影响任务或服务运行的效率。本文为您介绍资源组的各项属性及特点。
背景信息
为了解决旧版资源组(公共调度资源组、独享数据集成资源组、独享调度资源组、独享数据服务资源组)计费逻辑复杂,购买管理不统一等用户体验问题,DataWorks于2024年06月10日起逐步在各大地域上线全新Serverless资源组,所有DataWorks功能均可使用Serverless资源组,计费逻辑清晰简单,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。
DataWorks产品中使用的资源组,若无特指旧版资源组,均指Serverless资源组,其用途为通用型。
Serverless资源组可应用于数据集成、数据调度以及数据服务。
Serverless资源组特点
通用型:不区分用途,DataWorks任何能力都可以使用。
付费形式灵活:支持按量和包年包月两种付费形式。
支持运行中扩缩容:扩缩容时不影响已有任务的运行。
按需使用无浪费:用多少买多少,避免无效的资源浪费。最小购买粒度为2 CU。
高隔离性安全保障:属于您的独享资源,网络控制也完全由您自主控制,提升了安全性和隔离性。
Serverless资源组计费方式
Serverless资源组打破了传统按规格计费方式,采用全新计费方式,以CU为计费单位(1 CU的性能 ≈ 1核CPU + 4GiB内存)。
调度任务:Serverless化,支持按量付费,按调度任务成功运行实例数阶梯收费。
数据集成、数据计算、数据服务等:支持按量付费和包年包月。详情请参见计费方式。
Serverless资源组的更多计费详情,请参见Serverless资源组计费。
计费案例
假设华东1(杭州)地域某用户每日凌晨需要通过DataWorks同步任务将业务库MySQL数据同步至MaxCompute数仓,涉及20个同步任务,每个任务运行1小时。
如果使用Serverless资源组:以每个任务每小时消耗1 CU为例,消耗资源如图所示:
说明华东1(杭州)地域Serverless资源组按量付费单价为
0.5 元/CU时
。华东1(杭州)地域Serverless资源组按量付费单价为
0.077399 美元/CU时
。Serverless资源组一天费用 = 单任务每小时CU消耗 × CU单价 × 任务个数 × 运行时间 = 1 CU × 0.5 元/CU时 × 20个 × 1 小时= 10 元。
Serverless资源组一天费用 = 单任务每小时CU消耗 × CU单价 × 任务个数 × 运行时间 = 1 CU × 0.077399 美元/CU时 × 20个 × 1 小时 = 1.54798 美元。
如果使用原独享数据集成资源组,独享数据集成资源组最低购买4核 8GB规格,华东1(杭州)地域单价492.50元/月,约合16.42元/天。
结论
Serverless资源组相比独享数据集成资源组,不仅避免了不必要的资源浪费,而且价格便宜了约40%。
使用限制
仅华北2(北京)、华东2(上海)、华南1(深圳)、华东1(杭州)、中国(香港)、华北3(张家口)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、日本(东京)、英国(伦敦)、美国(硅谷)、德国(法兰克福)、美国(弗吉尼亚)地域支持使用Serverless资源组。
已具备资源组相关权限:
仅拥有AliyunBSSOrderAccess和AliyunDataWorksFullAccess权限的用户可以购买资源组。相关操作,请参见查看RAM用户的权限、为RAM用户授权。
仅空间管理员可以进行资源组归属空间绑定与修改的操作。
资源组其他操作的权限控制,请参见控制台实体对象级权限管控策略。
一个Serverless按量付费资源组最多可以使用500 CU。
说明Serverless资源组的数据调度并发默认为50,最大可调整至200。此处配置的数据调度并发上限,仅用于控制可同时调度的任务数上限,最大支持200个任务实例并发执行。 与任务执行无关,不限制任务执行行为。
除了实时同步任务外,其它类型的任务,单个任务最多可以分配16 CU。
注意事项
您对DataWorks资源组(包括Serverless资源组和旧版资源组)享有专属使用权。相应地,任何通过这些资源组执行或调度的代码逻辑所产生的法律义务与责任,也将由您承担。我们建议您在使用过程中,确保遵守相关法律法规,合理使用资源,以维护良好的社区环境与自身权益。
Serverless资源组与旧版资源组对比
对比项 | 旧版资源组(独享资源组和公共资源组) | Serverless资源组 |
使用方法 | 按照功能进行区分,分为数据集成、数据调度、数据服务三种资源组。 | 各功能通用,不区分用途。 |
功能边界 | DataWorks部分能力旧版资源组不支持。 | 支持DataWorks的所有功能。 |
支持混用 | 不支持,不同类型之间无法混用。 | 支持,一个资源组可以被所有功能(数据集成、数据调度、数据服务)使用。 |
售卖形式 | 按照机器规格和台数收费。 最小需要购买一台4c8g,最小扩容步长为一台4c8g。 | 按照CU进行售卖。 最小需要购买2 CU,最小扩容步长为1 CU。 |
收费方式 |
| 支持包年包月和按量付费两种形式。 |
资源碎片的浪费 | 机器规格只有有限几种,因此每种机器上都会存在一定量的资源碎片无法利用,造成资源浪费。 | 按需选择合适CU数,避免了资源浪费。 |
扩缩容能力 |
| 直接对于资源组CU数修改即可。 |
扩缩容时影响 | 影响已经在运行的任务。 | 已经运行的任务不受影响。 |
网络安全性 | DataWorks代持公网出入口。多用户共享,存在资源争抢。 | 完全使用客户自己的公网能力,行为可控。 |
发展趋势 | 计划未来下线。 | 成为DataWorks唯一正式的资源组。 |
是否支持自定义镜像 | 不支持。 | 支持自定义镜像管理,能够定制化构建任务执行所需组件的镜像,满足更多任务执行条件。 |
相关参考
Serverless资源组的详细计费说明,请参见Serverless资源组计费。
如何购买和使用Serverless资源组,请参见新增和使用Serverless资源组。
已有旧版资源组如何切换为Serverless资源组,请参见旧版资源组切换为Serverless资源组。
如需在已创建的数据源中使用该资源组,请在该数据源配置页面进行测试连通性,详情请参见创建并管理数据源。
附录:旧版资源组
不推荐使用旧版资源组(独享资源组和公共资源组),相较于旧版资源组,Serverless资源组支持的能力更丰富、售卖方式更统一、能有效利用资源碎片避免浪费,因此推荐您使用Serverless资源组。