文档

新增和使用新版通用型资源组

更新时间:

为了加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出新版通用型资源组,涵盖了原独享调度资源组、独享数据集成资源组、独享数据服务资源组的核心功能,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。本文档将详细介绍如何新增和使用新版通用型资源组

前提条件

  • 您需要先了解新版通用型资源组的规格性能、计费类型等细节,提前根据业务场景规划需购买的资源组规格和购买时长,详情请参见:新版通用型资源组计费

  • 新版资源组目前处于逐步灰度发布阶段,如果您需要使用但所处地域暂未发布,请提交工单联系技术支持人员开放。

  • 新版资源组支持的地域:华北2(北京)、华东2(上海)、华南1(深圳)、华东1(杭州)、中国(香港)、华北3(张家口)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、日本(东京)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)。

  • 已具备资源组相关权限:

新版通用型资源组与旧版资源组对比

对比项

旧版资源组(独享资源组和公共资源组)

新版通用型资源组

使用方法

按照功能进行区分,分为数据集成、数据调度、数据服务三种资源组。

通用型不区分用途。

功能边界

DataWorks部分能力旧版资源组不支持。

支持DataWorks的所有功能。

支持混用

不支持,不同类型相互之间无法混用。

支持,一个资源组可以被所有功能(数据集成、数据调度、数据服务)使用。

售卖形式

按照机器规格和台数收费。

最小需要购买一台4c8g,最小扩容步长为一台4c8g。

按照CU进行售卖。

最小需要购买2 CU,最小扩容步长为1 CU。

收费方式

  • 独享资源组只有包年包月一种方式。

  • 公共资源组只有按量付费一种方式。

支持包年包月和按量付费两种形式。

资源碎片的浪费

机器规格只有有限几种,因此存在每种机器上都会有一定量的资源碎片无法利用,造成资源浪费。

按需选择合适CU数,避免了资源浪费。

扩缩容能力

  • 升级或降级规格。

  • 增加或减少台数。

直接对于资源组CU数修改即可。

扩缩容时影响

影响已经在运行的任务。

已经运行的任务不受影响。

网络安全性

DataWorks代持公网出入口。多用户共享,存在资源争抢。

完全使用客户自己的公网能力,行为可控。

发展趋势

计划未来下线。

成为DataWorks唯一正式的资源组。

是否支持自定义镜像

不支持。

支持自定义镜像管理,能够定制化构建任务执行所需组件的镜像,满足更多任务执行条件。

注意事项

  • 为了确保资源组可以访问到数据源(目标网络环境下的数据库、数据服务或其他数据),请提前根据数据源情况,了解并完成网络连通。详情请参见网络连通方案

    重要

    新版通用型资源组可通过绑定专有网络的方式通过内网访问复杂网络环境下的数据源或地址。但新版通用型资源组默认不具备公网访问能力,如果需要通过公网访问数据源或网络,请为新版通用型资源组绑定的VPC配置公网NAT网关并绑定EIP。具体操作,请参见场景五:数据源在公网

  • 若VPC、V-Switch已绑定至DataWorks新版通用型资源组,请勿随意变更VPC、V-Switch的环境,该操作可能导致DataWorks上的任务执行失败。

新版通用型资源组计费

资源组相关计费,请参见新版通用型资源组计费

步骤一:新增新版通用型资源组

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组列表,进入资源组列表页面。

  2. 独享资源组页签下单击新建资源组,进入新版通用型资源组购买页面。

    参数

    说明

    地域和可用区

    选择地域,需要和DataWorks工作空间所在的地域一致。

    付费模式

    • 包年包月:预付费模式。

    • 按量付费:后付费模式。

    资源组规格

    当付费模式为包年包月时,需要设置资源组规格。

    取值范围:2 CU ~ 99999999 CU。

    说明
    • 1 CU = 1核CPU + 4GiB内存,如需使用数据服务,请至少购买4 CU。

    • 上限99999999 CU即表示购买规格无上限,但可能受库存影响,如库存不足时,请关注购买页提示。

    资源组名称

    设置资源组名称。

    资源组备注

    设置资源组备注说明。

    专有网络(VPC)

    根据资源组需要连通的专有网络来选择。

    • 数据源与新版通用型资源组同账号同地域:配置数据源的VPC和交换机。

    • 数据源在其他复杂网络环境下:您还需通过VPN网关高速通道等方式,将新版通用型资源组绑定的VPC与数据源所在VPC网络打通。详情请参见网络连通方案

    说明
    • 如果下拉列表没有选项,需要前往VPC控制台创建。专有网络VPC的更多信息,请参见什么是专有网络

    • 资源组支持绑定多个VPC,您可以在购买完成后为其绑定其他VPC。

    • 如果资源组付费模式为包年包月,则此处配置的VPC被应用于数据服务、数据计算和数据集成后,数据服务无法再新绑定专有网络或更换专有网络,请提前规划。

    • 若VPC、V-Switch已绑定至DataWorks新版通用型资源组,请勿随意变更VPC、V-Switch的环境,该操作可能导致DataWorks上的任务执行失败。

    交换机(V-Switch)

    计费周期

    当付费模式为包年包月时,需要设置计费周期。

    重要

    建议选中到期自动续费,可避免因资源到期停机或释放而影响业务。勾选后,自动续费周期为每月,在实例到期前会以实时价格自动扣费。自动续费可随时取消,详情请参见关于自动续费和手动续费

    服务关联角色

    关联服务角色,首次购买时需要创建服务关联角色(AliyunServiceRoleForDataWorks),后续会默认关联已创建的角色。

    说明

    服务关联角色(AliyunServiceRoleForDataWorks),用于访问专有网络VPC、弹性网卡ENI及安全组中的资源,该角色的更多权限细节,请参见DataWorks服务关联角色

步骤二:为工作空间绑定资源组

创建资源组后,还需要将其与工作空间绑定,绑定完成后,才可以在目标工作空间创建各项任务时选择并使用新版通用型资源组

  • 创建工作空间时绑定资源组

    1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的工作空间列表,进入工作空间列表页面。

    2. 单击创建工作空间,在创建工作空间页面,修改参数默认资源组配置的取值为已创建的目标资源组。

  • 为已有工作空间绑定资源组

    1. 进入资源组列表页面。

      登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组列表,进入资源组列表页面。

    2. 点击目标资源组右侧操作列的image.png> 修改归属工作空间,找到待绑定的工作空间后,单击操作列的绑定

步骤三:网络连通

为了确保各项任务的顺利进行,您需要完成网络连通的相关配置,使资源组可以访问到数据源。具体请参见网络连通方案

重要

新版通用型资源组可通过绑定专有网络的方式通过内网访问复杂网络环境下的数据源或地址。但新版通用型资源组默认不具备公网访问能力,如果需要通过公网访问数据源或网络,请为新版通用型资源组绑定的VPC配置公网NAT网关并绑定EIP。具体操作,请参见场景五:数据源在公网

步骤四:资源组配置项调整

配额管理

您可以为数据计算、数据集成和数据服务分别配置资源组的CU上限CU保障,以确保各项任务能够顺利运行。

说明
  • 按量付费资源组配置CU上限,防止资源使用过多。

  • 包年包月资源组配置CU保障,设置最低CU保障额度。

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组列表,进入资源组列表页面。

  2. 调整配额。

    • 在资源组列表页调整。

      单击目标资源组操作列的image > 配额管理,然后修改不同用途的CU上限CU保障取值。

    • 在资源组详情页调整。

      在资源组列表页,单击目标资源组名称,进入资源组详情页面。在右上角单击配额管理,然后修改不同用途的CU上限CU保障取值。

数据调度并发上限调整

在数据调度场景下,您可以手动设置任务并发上限,控制最大允许多少个任务同时执行。

说明

数据调度并发默认为50,最大可调整至200。

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组列表,进入资源组列表页面。

  2. 调整数据调度并发上限。

    • 在资源组列表页调整。

      单击目标资源组操作列的image > 数据调度并发上限,然后修改数据调度并发上限取值。

    • 在资源组详情页调整。

      在资源组列表页,单击目标资源组名称,进入资源组详情页面。在右上角单击数据调度并发上限,然后修改数据调度并发上限取值。

    说明

    此处配置的数据调度并发上限,仅为纯数据调度任务的任务并发,不含计算型、数据集成等。

下一步:为各项任务配置新版通用型资源组

新版通用型资源组创建并配置完成后,您需要为数据集成、数据调度、数据服务等任务配置资源组,以便在各项任务中应用新版通用型资源组。具体操作,请参见通用参考:切换资源组

更多操作

查看新版通用型资源组使用率

包年包月资源组使用率较高将阻塞任务执行,您可使用如下方式查看运行在该资源组上的任务、资源组当前使用率、历史时间点资源的使用情况以及每个任务占用的资源量。

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组列表,进入资源组列表页面。

  2. 查看资源组使用率。

    • 在资源组列表页查看。

      查看目标资源组当前利用列展示的资源组使用率。

    • 在资源组详情页查看。

      在资源组列表页,单击目标资源组名称,进入资源组详情页面。通过资源使用率曲线回看历史时间点资源的使用情况,并按照资源组使用场景查看各场景下正在运行或等待运行的任务详情。

资源组扩缩容操作

重要

资源组扩缩容操作涉及费用,具体计费规则,详见升配规则说明

如果您在包年包月资源组详情页查看资源组使用率过高,可以手动扩容资源组规格,从而提升数据集成、任务调度、数据服务的任务处理性能。如果包年包月资源组实际使用率较低,可手动缩容资源组规格,从而节约成本。

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组列表,进入资源组列表页面。

  2. 单击目标资源组操作列的image > 扩容缩容

    说明

    缩容可能导致任务变慢,请评估后谨慎操作。

  3. 在资源组变配页面,调整资源组规格后,勾选服务协议,单击立即购买

相关文档

  • 资源组的更多介绍,请参见DataWorks资源组概述

  • 支持通过运维中心的智能监控功能来对资源组的使用率及等待资源的实例数进行监控。详情请参见创建自定义规则

  • 在资源组列表页,查看实例状态时:

    • 如果资源组显示已到期,请单击目标资源组操作列的image.png> 续费

    • 如果资源组的资源使用率达到警戒线,请单击目标资源组操作列的image.png> 扩容,详情请参见资源组扩缩容操作

  • 如果您在新版通用型资源组中部署任务时,需要特定开发环境支持,可以使用镜像管理功能,该功能支持定制化构建包含所有必需组件的镜像,不仅满足任务执行条件,还优化了工作流的可靠性和维护性,实现数据处理的无缝高效运行。