资源组管理

DataWorks 资源组是执行任务所需的计算能力单元。从 2024 年 6 月 10 日起,Serverless 资源组已成为唯一推荐和支持新购的类型。它统一调度、数据集成和数据服务等所有场景的计算资源。本文档将解释其核心概念、优势及与旧版资源组的区别。

重要

DataWorks推荐使用Serverless资源组。旧版资源组将逐步下线,不再对新用户开放。

  • 新用户:请直接学习和使用Serverless资源组。

  • 老用户:我们强烈建议您将存量旧版资源组升级,以获得更优的性能、弹性和成本效益。

Serverless资源组

Serverless 资源组是 DataWorks 默认且推荐的资源组方案。它打破旧版资源组按功能(调度、数据集成、数据服务)划分的限制,提供一个统一、通用的计算资源池。

核心优势

  • 通用性:一个资源组可同时用于数据集成任务调度数据服务等所有场景,无需为不同功能单独购买和管理资源。

  • 弹性伸缩:支持按需升降配,扩缩容过程不影响运行任务,轻松应对业务高峰。最小购买粒度低至2 CU,避免资源浪费。

  • 付费灵活:支持按量付费包年包月,您可以根据业务负载的稳定性灵活选择,实现成本最优。

  • 更高安全:资源独享,网络策略完全自主可控,实现企业级的安全隔离。

  • 功能更强:支持自定义镜像等高级功能,满足您定制化运行环境的需求。

成本与计费

Serverless 资源组以 CU (Compute Unit) 为计费单位,1 CU ≈ 1 核 CPU + 4 GiB 内存

案例分析:它究竟如何省钱?

假设华东1(杭州)地域某用户每日凌晨需要通过DataWorks同步任务将业务库MySQL数据同步至MaxCompute数仓,涉及 20 个数据同步任务,每个任务运行 1 小时,消耗 1 CU。

  • 使用 Serverless 资源组 (按量付费):

    • 费用 = 20个任务 × 1 CU/任务 × 1小时 × 0.5元/CU10 元/天

    • 其余 23 小时,资源不消耗,不产生费用。

  • 使用独享数据集成资源组 (包年包月):

    • 最低需购买 48G 规格,约合 16.42 元/天,且大部分时间资源处于闲置状态。

结论:在此场景下,Serverless 资源组不仅避免了资源浪费,还节省了近 40% 的成本

与旧版资源组对比

目前支持的旧版资源组包括:独享数据集成资源组、独享调度资源组、独享数据服务资源组、公共调度资源组、公共数据服务资源组。

对比项

Serverless资源组

旧版资源组(独享资源组和公共资源组)

资源用途

通用型,适用于所有DataWorks功能

专用型,需按调度、数据集成、数据服务等功能分别购买

付费模式

包年包月 & 按量付费

独享仅支持包年包月,公共仅支持按量付费

弹性伸缩

平滑扩缩容,不影响运行中任务。

直接修改资源组CU数即可。

扩缩容影响运行中任务。

需升级或降级规格、增加或减少台数。

资源利用率

按需购买CU,无资源碎片,利用率高。

最小需要购买2 CU,最小扩容步长为1 CU。

按固定规格购买,易产生资源碎片和浪费

最小需要购买一台4c8g,最小扩容步长为一台4c8g。

网络安全

与用户VPC绑定,网络自主可控,安全性高。

DataWorks代持公网出入口,多租户共享。

未来发展

持续演进,作为DataWorks唯一的标准资源组。

逐步下线,不再新增功能。

法律法规事项

您对DataWorks资源组(包括Serverless资源组和旧版资源组)享有专属使用权。相应地,任何通过这些资源组执行或调度的代码逻辑所产生的法律义务与责任,也将由您承担。我们建议您在使用过程中,确保遵守相关法律法规,合理使用资源,以维护良好的社区环境与自身权益。

后续步骤