为加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出的Serverless资源组涵盖了原独享调度资源组、独享数据集成资源组、独享数据服务资源组的核心功能,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。
Serverless资源组介绍
相较于旧版资源组(独享资源组和公共资源组),Serverless资源组支持的能力更丰富、售卖方式更统一、能有效利用资源碎片避免浪费。更多Serverless资源组介绍以及与旧版资源组的对比,请参见DataWorks资源组概述。
注意事项
DataWorks支持的各类型节点,一部分会下发至各引擎执行,另一部分将直接在DataWorks的资源组上执行,下发至计算引擎执行的任务由对应计算引擎收取数据计算费用,在DataWorks资源组执行的任务将由DataWorks收取数据计算费用。
Serverless资源组按量计费方式,高峰期可能存在抢占资源情况,无法完全保障资源使用的时效性。
Serverless资源组费用不包含任务调度费用,无论使用Serverless按量付费资源组还是包年包月资源组,任务调度均会按照实例运行成功数收费,具体详情请参见:附录:数据调度计费说明。
包年包月和按量付费方式不支持转换。例如,您通过包年包月方式购买的Serverless资源组,该资源组后续只能使用包年包月方式计费,不能转换为按量付费。
新用户开通DataWorks时会默认购买按量付费Serverless资源组,该资源组用于结算数据计算费用,不使用不计费,计费详情,请参见计费规则。
计费场景
DataWorks的资源费用包括数据计算费用和数据调度费用。其中:
数据计算费用:在DataWorks运行数据同步任务(例如,离线同步任务)、数据服务任务(例如,调用数据服务API)、数据计算任务(例如,ODPS SQL、PyODPS、EMR Hive)、数据质量规则执行等,均会产生数据计算费用。
数据调度费用:将任务发布至生产环境进行周期性调度,均会产生数据调度费用。
数据计算费用以CU为计费单位,而数据调度费用以成功运行实例数(不包括空跑)为计费单位,当前Serverless资源组仅支持支付数据计算费用,因此,无论使用Serverless按量付费资源组还是包年包月资源组,数据调度费用均需另行计费。计费详情,请参见附录:数据调度计费说明。
性能指标及购买建议
Serverless资源组的包年包月和按量付费购买方式均基于CU量进行计费,1CU = 1核CPU + 4GiB内存
。
您可购买资源组并选择在数据集成、数据开发、数据服务等任务中使用。购买资源组、绑定资源组至工作空间、连通资源组网络的相关操作,请参见新增和使用Serverless资源组。
使用Serverless资源组运行不同类型任务的建议规格和最低规格如下。
数据集成
离线同步
离线同步任务并发配置 | 建议规格 | 运行最低规格 |
<4 | 0.5 CU | 0.5 CU |
>=4 |
|
实时同步
同步任务类型 | 建议规格 | 运行最低规格 | |
MySQL实时同步 | 数据库数1 | 2.5 CU | 运行一个实时同步任务最低规则:1 CU |
数据库数2~5 | 4 CU | ||
数据库数6以上 | 7 CU | ||
DRDS(PolarDB-X 1.0)实时同步 | 7 CU | ||
kafka实时同步 | 2.5 CU | ||
其它类型单表级别实时任务 | 2.5 CU | ||
整库实时同步 | - | 运行一个整库同步任务最低规则:2 CU |
任务调度
Serverless资源组最大并发运行实例数:200。
数据服务
最大每秒请求(QPS) | 最低规格 | 服务可用性(SLA) |
500 | 4 CU | 99.95% |
1000 | 8 CU | |
2000 | 16 CU |
计费详情
计费方式
Serverless资源组根据计费方式分为预付费的资源组(包年包月)和后付费的资源组(按量付费)。
Serverless资源组(包年包月)
您需提前确定所需CU量及使用时长,并支付相应费用。除支付的包年包月费用外,使用Serverless资源组在DataWorks进行数据同步、数据计算,以及调试/调用数据服务API,DataWorks侧将不再收取相关费用。
Serverless资源组(按量付费)
您可先使用产品相关功能,后续根据使用的CU总量统一支付相应费用。使用按量付费Serverless资源组运行部分任务(例如,离线同步任务、数据服务任务、数据开发任务)会产生相应数据计算费用。
不同计费方式的功能对比如下:
功能类别 | 功能场景/说明 | Serverless资源组(按量付费) | Serverless资源组(包年包月) |
配额 | 资源组总共可用的CU量。 | 按照实际使用量计算。 | 购买时指定的CU量。 |
使用场景 | 数据计算、数据集成、数据服务 | 支持 | 支持 |
操作 | 扩容、缩容、续费 | 不涉及 | 支持 |
配额管理 | 用于控制不同场景可使用的CU上限。数据计算、数据集成、数据服务均支持。 | ||
设置数据调度并发上限。 | 支持,最大支持200个任务实例并发执行。 | ||
网络配置 | 绑定的专有网络个数。 |
| 取决于购买的CU量。
|
计费规则
Serverless资源组费用不包含任务调度费用,无论使用Serverless按量付费资源组还是包年包月资源组,任务调度均会按照实例运行成功数收费,具体详情请参见:附录:数据调度计费说明。
包年包月
统一按CU使用量收费,费用 = 月单价 * 月数 * 每月购买的CU量
。
按量付费
统一按照CU时 * CU单价计费,费用 = CU时 * CU单价
,按小时出账。
CU时计算方式:若一个数据计算任务配置了2CU,执行0.5小时后结束(无论任务运行成功、失败或手动终止),则该任务消耗的CU时为2CU * 0.5小时 = 1CU时。
计费单价
包年包月
地域 | 月单价(CNY/月/CU) |
华北3(张家口) | 180.3046 |
西南1(成都) | 196.7513 |
华东2(上海)、华东1(杭州)、华北2(北京)、华南1(深圳) | 240 |
英国(伦敦) | 329.5431 |
美国(弗吉尼亚) | 348.3241 |
马来西亚(吉隆坡) | 409.3401 |
中国香港、新加坡、德国(法兰克福)、印度尼西亚(雅加达) | 436.7817 |
华东2(上海)金融云、华南1 (深圳)金融云、华北2 (北京)金融云 | 456 |
美国(硅谷) | 469.9517 |
日本(东京) | 500.3647 |
阿联酋(迪拜) | 523.8579 |
按量付费
地域 | 单价(CNY/CU时) | 示例 |
华北3(张家口) | 0.375635 | 示例:上海地域某数据同步任务配置了2CU,且该任务在0.5小时后运行成功,上海地域CU的单价为0.5元/CU时,则该任务消耗的CU时及费用如下:
|
华东2(上海)、华东1(杭州)、华北2(北京)、华南1(深圳) | 0.5 | |
西南1(成都) | 0.409899 | |
英国(伦敦) | 0.686548 | |
美国(弗吉尼亚) | 0.725675 | |
马来西亚(吉隆坡) | 0.852792 | |
德国(法兰克福)、印度尼西亚(雅加达)、中国香港、新加坡 | 0.909962 | |
华南1(深圳) 金融云、华北2 (北京)金融云、华东2 (上海)金融云 | 0.95 | |
美国(硅谷) | 0.979066 | |
日本(东京) | 1.042426 | |
阿联酋(迪拜) | 1.091371 |
附录:数据调度计费说明
计费场景
在DataWorks运行的数据同步任务、数据开发任务、数据服务任务,只要发布至生产环境进行周期性调度,均会产生调度费用。DataWorks支持调度的任务列表,请参见DataWorks节点合集。
计费单位及规则
按照实例运行成功数阶梯计费。DataWorks根据每日成功运行的实例数量,将调度费用分为12档阶梯价格,按日收取实例运行成功数所在的阶梯费用。
空跑的实例(即实例运行后,平台直接返回运行成功,不会真实执行任务)不收取费用,不计入成功运行的实例数量。
每天实例个数统计示例:假设调度任务为小时任务,在每天00:00~23:59之间,每小时调度一次,那么每天将生成24个实例。
计费单价(单击此处即可展开/折叠该页签)
后续操作
购买Serverless资源组
如果您首次使用DataWorks及资源组等相关产品,请参考性能指标及购买建议评估后,按需购买资源组,具体操作,请参见新增和使用Serverless资源组。
如果您已拥有旧版资源组,计划将运行在旧版资源组上的任务迁移至Serverless资源组,具体迁移规格评估以及相关操作,请参见旧版资源组切换为Serverless资源组。
如您在创建资源组的过程中遇见缺失角色权限报错,可通过以下任一方式完成资源组创建。
为RAM用户进行授权并分配预设角色,详情请参见最佳实践:为RAM用户授权指引。
通过DataWorks控制台创建资源组时,您需根据页面提示进行服务关联角色授权,详情请参见新增和使用Serverless资源组。
扩容与缩容
若您使用包年包月方式购买的Serverless资源组,其规格(即CU量)与您的业务需要不符,则可根据实际情况进行资源组的扩容或缩容。扩缩容详情,请参见资源组扩缩容操作。
使用按量付费方式购买的Serverless资源组不涉及该操作。
配额调整
资源组购买后,您可为数据计算、数据集成、数据服务分别配置资源组最低规格的保障额度,以确保各类任务能够顺利运行,详情请参见配额管理。
到期说明及续费
若Serverless包年包月资源组即将到期,您可对资源组进行续费。如果未续费,则资源组将会被停服或释放。续费详情,请参见到期说明及续费操作。