DataWorks支持公共资源组、独享资源组和自定义资源组,本文为您介绍各类资源组属性说明与选择指导。

背景信息

  • 开通DataWorks时,DataWorks默认为您提供按量付费的公共资源组,同时,支持您购买包年包月独享资源组,或者升级DataWorks增值版本,将您的IDC机器作为DataWorks任务运行的相关资源组,详情请参见:资源组介绍
  • 不同类型的资源组用于任务不同的执行阶段,本文以离线任务调度为例,为您介绍DataWorks离线任务下发机制,与任务运行过程中使用的资源组。详情请参见:任务下发机制
  • 任务同一个执行阶段可选择不同类型的资源组,例如,离线任务调度可选择包年包月独享调度资源组,或按量付费公共调度资源组,数据集成离线任务执行可选择包年包月独享数据集成资源组,或DataWorks增值版本支持的自定义数据集成资源组,关于资源组选择详情请参见:资源组选择

费用说明

各类资源组的费用说明详情请参见:计费逻辑说明

使用限制

仅阿里云主账号和同时拥有AliyunBSSOrderAccessAliyunDataWorksFullAccess策略的RAM用户可以进行资源组购买操作。

资源组介绍

DataWorks包括独享资源组、公共资源组和自定义资源组,各资源组根据任务调度、数据集成、数据服务等不同的使用场景,细分为不同类型的资源组,包括:独享调度资源组、独享数据集成资源组、独享数据服务资源组、公共调度资源组、公共数据服务资源组、自定义调度资源组、自定义数据集成资源组。其中,DataWorks的调度资源组用于保障任务的调度运行,数据集成资源组用于保障数据集成任务中的数据传输。 数据服务资源组用于保障API的调用。

资源组类型 计费方式 资源组描述 调度资源组 数据集成资源组 数据服务资源组
独享资源组 包年包月
  • 属于平台托管类型的资源组,购买后将拥有该资源组的独立使用权。
  • 支持通过资源组绑定工作空间的操作,实现各个工作空间的资源隔离。
  • 支持扩容、缩容、升配或规格变更等灵活配置。
独享调度资源组 独享数据集成资源组 独享数据服务资源组
公共资源组 按量付费 开通DataWorks时,阿里云DataWorks会自动为用户提供公共资源组(公共数据服务资源组和公共调度资源组),公共资源组为DataWorks租户共享,任务运行高峰期可能出现等待资源的情况。 公共调度资源组 - 公共数据服务资源组
自定义资源组 - 如果您有富余的服务器资源,也可将此部分资源作为DataWorks中任务运行的资源组使用。
说明 DataWorks增值版本才可以使用自定义资源组。自定义调度资源组和自定义数据集成资源组要求的版本不同。详情请参见:DataWorks各版本详解
自定义调度资源组 自定义数据集成资源组 -

任务下发机制

DataWorks的离线任务通过调度资源组下发至各引擎或服务器资源上执行。例如,DataWorks通过调度资源组将任务下发至MaxCompute引擎上执行。数据集成离线同步任务通过调度资源组将任务下发至数据集成任务执行资源上执行。公共数据集成资源组

资源组选择

以下通过机器资源归属、网络、任务执行时效性要求、适用场景、收费方式等维度为您对比展示各资源组的现状。方便您根据自身需求选择合适的资源组。
  • 调度资源组
    类别 公共调度资源组 独享调度资源组 自定义调度资源组
    机器资源归属 由DataWorks维护,是所有租户竞争使用的共享资源。 由DataWorks维护,是每个租户独占使用的计算资源。 由您自己维护,是属于您的IDC机器。
    网络
    支持阿里云内部数据源之间的访问连通,数据源处于以下网络环境时,不支持使用:
    • 数据源处于公网环境中,但数据源有白名单设置,限制了未知IP的访问。
    • 数据源处于阿里云VPC网络环境中。
    可通过网络配置连通复杂的网络环境。详情请参见:独享调度资源组概述 根据您自身机器所处的环境决定。
    任务执行时效性要求 DataWorks用户共享,无法保障时效性。 租户独占,可以控制资源组执行的并发数,并保障任务按时执行。 根据您自身机器所处的环境决定。
    适用场景 由于租户共同拥有资源的使用权,所以任务量多时,容易造成空间内任务阻塞。仅适用于低并发、低频率的调用场景。 租户可以控制资源组执行的并发数,并支持对资源组进行扩缩容,规格变更等操作,满足任务量大,且对任务时效性要求高的场景。 自定义开发场景。
    收费 按量付费 包年包月 DataWorks版本按月使用收费。
    推荐指数 ★★★★★
    选择指引
    • 时效性要求:公共调度资源组所有阿里云DataWorks用户共享,如果您的任务有时效要求,建议您选择独享调度资源组。
    • 访问非公网且有白名单限制的环境需求:公共资源组不支持访问非公网并且有白名单限制的环境,如果您有此类需求,建议您选择使用独享调度资源组。
    • 任务量需求:日调度任务较多时,您可以选择包年包月独享调度资源组。
  • 数据集成资源组
    类别 独享数据集成资源组 自定义数据集成资源组
    机器资源归属 由DataWorks维护,是每个租户独占使用的计算资源。 由您自己维护,是属于您的IDC机器。
    网络
    • 拥有公网访问能力。
    • 通过网络配置可以访问任意网络环境下的数据库。
    根据您自身机器所处的环境决定。
    支持的数据源 全部数据源。 全部数据源。
    任务执行时效性要求 租户独占,可以控制资源组执行的并发数,并保障任务按时执行。 根据您自身机器所处的环境决定。
    适用场景 大量、重要的生产任务。
    • 如果您已有计算资源,可以对接阿里云重复使用,无需重新购买。
    • 需要同步的数据源全部在IDC内。
    收费 包年包月 DataWorks版本按月使用收费。
    推荐指数 ★★★★★
    选择指引
    • 时效性要求:在数据集成任务高并发执行且无法错峰运行的情况下,企业需要独享的计算资源来保障数据快速、稳定地传输,此时您可选择使用独享数据集成资源组。
    • 访问内网环境的需求:独享数据集成资源组拥有公网访问能力,如果您的数据库在公网内,独享数据集成资源组支持您走公网进行同步。部分数据库由于其自身特性,无法通过公网直接同步,具体详情请参见各个数据源与插件说明文档:支持的数据源与读写插件
    • 访问复杂环境的需求:当需要访问复杂网络环境下的数据库时,请选择包年包月独享数据集成资源组。关于网络解决方案详情请参见:配置资源组与网络连通
    • 实时同步需求:当进行数据实时同步时,您需要使用独享数据集成资源组。
  • 数据服务资源组

    公共数据服务资源组为租户共享资源。在对数据服务API进行高并发、高频率的接口调用并需要及时返回数据结果的情况下,企业需要专有的计算资源来保障数据服务的可用性和稳定性。此种场景下建议您选择DataWorks的独享数据服务资源组。