新增和使用Serverless资源组

为了加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出Serverless资源组,涵盖了原独享调度资源组、独享数据集成资源组、独享数据服务资源组的核心功能,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。本文档将详细介绍如何新增和使用Serverless资源组。

前提条件

  • 您需要先了解Serverless资源组的规格性能、计费类型等细节,提前根据业务场景规划需购买的资源组规格和购买时长,详情请参见:DataWorks资源组概述Serverless资源组计费

  • 仅华北2(北京)、华东2(上海)、华南1(深圳)、华东1(杭州)、中国(香港)、华北3(张家口)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、日本(东京)、英国(伦敦)、美国(硅谷)、德国(法兰克福)、美国(弗吉尼亚)地域支持使用Serverless资源组。

  • 已具备资源组相关权限:

  • 若您需要在虚商环境下使用Serverless通用型资源组,请先确认您所对应的提供商是否已支持售卖该商品。

Serverless资源组与旧版资源组对比

对比项

旧版资源组(独享资源组和公共资源组)

Serverless资源组

使用方法

按照功能进行区分,分为数据集成、数据调度、数据服务三种资源组。

各功能通用,不区分用途。

功能边界

DataWorks部分能力旧版资源组不支持。

支持DataWorks的所有功能。

支持混用

不支持,不同类型之间无法混用。

支持,一个资源组可以被所有功能(数据集成、数据调度、数据服务)使用。

售卖形式

按照机器规格和台数收费。

最小需要购买一台4c8g,最小扩容步长为一台4c8g。

按照CU进行售卖。

最小需要购买2 CU,最小扩容步长为1 CU。

收费方式

  • 独享资源组只有包年包月一种方式。

  • 公共资源组只有按量付费一种方式。

支持包年包月和按量付费两种形式。

资源碎片的浪费

机器规格只有有限几种,因此每种机器上都会存在一定量的资源碎片无法利用,造成资源浪费。

按需选择合适CU数,避免了资源浪费。

扩缩容能力

  • 升级或降级规格。

  • 增加或减少台数。

直接对于资源组CU数修改即可。

扩缩容时影响

影响已经在运行的任务。

已经运行的任务不受影响。

网络安全性

DataWorks代持公网出入口。多用户共享,存在资源争抢。

完全使用客户自己的公网能力,行为可控。

发展趋势

计划未来下线。

成为DataWorks唯一正式的资源组。

是否支持自定义镜像

不支持。

支持自定义镜像管理,能够定制化构建任务执行所需组件的镜像,满足更多任务执行条件。

注意事项

  • 为了确保资源组可以访问到数据源(目标网络环境下的数据库、数据服务或其他数据),请提前根据数据源情况,了解并完成网络连通。详情请参见网络连通方案

    重要

    Serverless资源组可通过绑定专有网络的方式在内网访问复杂网络环境下的数据源或地址。但Serverless资源组默认不具备公网访问能力,如果需要通过公网访问数据源或网络,请为Serverless资源组绑定的VPC配置公网NAT网关和EIP。具体操作,请参见场景五:数据源在公网

  • 若VPC、V-Switch已绑定至DataWorks Serverless资源组,请勿随意变更VPC、V-Switch的环境,该操作可能导致DataWorks上的任务执行失败。

Serverless资源组计费

资源组相关计费,请参见Serverless资源组计费

步骤一:新增Serverless资源组

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组,进入资源组列表页面。

  2. 独享资源组页签下单击新建资源组,进入Serverless资源组购买页面。

    参数

    说明

    地域和可用区

    选择地域,需要和DataWorks工作空间所在的地域一致。

    付费模式

    • 包年包月:预付费模式。

    • 按量付费:后付费模式。

    资源组规格

    当付费模式为包年包月时,需要设置资源组规格。

    取值范围:2 CU ~ 99999999 CU。

    说明
    • 1 CU = 1核CPU + 4GiB内存,具体购买建议及运行各任务需要的最低规格要求,请参见性能指标及购买建议

    • 上限99999999 CU即表示购买规格无上限,但可能受库存影响,如库存不足时,请关注购买页提示。

    资源组名称

    设置资源组名称。

    资源组备注

    设置资源组备注说明。

    专有网络(VPC)

    根据资源组需要连通的专有网络来选择。

    • 数据源与Serverless资源组同账号同地域:配置数据源所在的VPC和交换机。

    • 数据源在其他复杂网络环境下:您还需通过VPN网关高速通道等方式,将Serverless资源组绑定的VPC与数据源所在的VPC网络打通。详情请参见网络连通方案

    说明
    • 如果下拉列表没有选项,需要前往VPC控制台进行创建。关于专有网络VPC的更多信息,详情请参见什么是专有网络

    • 资源组支持绑定多个VPC,您可以在购买完成后为其绑定其他VPC。

    • 如果资源组付费模式为包年包月,则此处配置的VPC被应用于数据服务、数据计算和数据集成后,数据服务无法再新绑定专有网络或更换专有网络,请提前规划。

    • 若VPC、V-Switch已绑定至DataWorks Serverless资源组,请勿随意变更VPC、V-Switch的环境,该操作可能导致DataWorks上的任务执行失败。

    交换机(V-Switch)

    计费周期

    当付费模式为包年包月时,需要设置计费周期。

    重要

    建议选中到期自动续费,可避免因资源到期停机或释放而影响业务。勾选后,自动续费周期为每月,在实例到期前会以实时价格自动扣费。自动续费可随时取消,详情请参见关于自动续费和手动续费

    服务关联角色

    关联服务角色,首次购买时需要创建服务关联角色(AliyunServiceRoleForDataWorks),后续会默认关联已创建的角色。

    说明

    服务关联角色(AliyunServiceRoleForDataWorks),用于访问专有网络VPC、弹性网卡ENI及安全组中的资源,该角色的更多权限细节,请参见DataWorks服务关联角色

步骤二:为工作空间绑定资源组

创建资源组后,还需要将其与工作空间绑定,绑定完成后,才可以在目标工作空间创建各项任务时选择并使用Serverless资源组。

  • 创建工作空间时绑定资源组

    1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的工作空间,进入工作空间列表页面。

    2. 单击创建工作空间,在创建工作空间页面,修改参数默认资源组配置的取值为已创建的目标资源组。

  • 为已有工作空间绑定资源组

    1. 进入资源组列表页面。

      登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组,进入资源组列表页面。

    2. 点击目标资源组右侧操作列的绑定工作空间,找到待绑定的工作空间后,单击操作列的绑定

步骤三:网络连通

为了确保各项任务的顺利进行,您需要完成网络连通的相关配置,使资源组可以访问到数据源。具体请参见网络连通方案

重要

Serverless资源组可通过绑定专有网络的方式在内网访问复杂网络环境下的数据源或地址。但Serverless资源组默认不具备公网访问能力,如果需要通过公网访问数据源或网络,请为Serverless资源组绑定的VPC配置公网NAT网关和EIP。具体操作,请参见场景五:数据源在公网

资源组绑定的VPC支持配置DNS内网解析,从而允许DataWorks通过自定义内网域名访问数据源。以CDH集群为例,您可以为Serverless资源组绑定的VPC配置内网DNS解析,详情请参见获取CDH或CDP集群信息并配置网络连通

步骤四:资源组配置项调整

配额管理

您可以为数据计算、数据集成和数据服务分别配置资源组的CU上限CU保障,以确保各项任务能够顺利运行。

说明
  • 按量付费资源组配置CU上限,防止资源使用过多。

  • 包年包月资源组配置CU保障,设置最低CU保障额度。

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组,进入资源组列表页面。

  2. 调整配额。

    • 在资源组列表页调整。

      单击目标资源组操作列的image > 配额管理,然后修改不同用途的CU上限CU保障取值。

    • 在资源组详情页调整。

      在资源组列表页,单击目标资源组名称,进入资源组详情页面。在右上角单击配额管理,然后修改不同用途的CU上限CU保障取值。

数据调度并发上限调整

在数据调度场景下,您可以手动设置任务并发上限,控制最大允许多少个任务同时执行。

说明

数据调度并发默认为50,最大可调整至200。

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组,进入资源组列表页面。

  2. 调整数据调度并发上限。

    • 在资源组列表页调整。

      单击目标资源组操作列的image > 数据调度并发上限,然后修改数据调度并发上限取值。

    • 在资源组详情页调整。

      在资源组列表页,单击目标资源组名称,进入资源组详情页面。在右上角单击数据调度并发上限,然后修改数据调度并发上限取值。

    说明

    此处配置的数据调度并发上限,仅用于控制可同时调度的任务数上限,与任务执行无关,不限制任务执行行为。

下一步:为各项任务配置Serverless资源组

Serverless资源组创建并配置完成后,您需要为数据集成、数据调度、数据服务等任务配置资源组,以便在各项任务中应用Serverless资源组。具体操作,请参见通用参考:切换资源组

更多操作

查看Serverless资源组使用率

包年包月资源组使用率较高将阻塞任务执行,您可使用如下方式查看运行在该资源组上的任务、资源组当前使用率、历史时间点资源的使用情况以及每个任务占用的资源量。

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组,进入资源组列表页面。

  2. 查看资源组使用率。

    • 在资源组列表页查看。

      查看目标资源组当前利用列展示的资源组使用率。

    • 在资源组详情页查看。

      在资源组列表页,单击目标资源组名称,进入资源组详情页面。通过资源使用率曲线回看历史时间点资源的使用情况,并按照资源组使用场景查看各场景下正在运行或等待运行的任务详情。

资源组扩缩容操作

重要

资源组扩缩容操作涉及费用,具体计费规则,详见升配规则说明

如果您在包年包月资源组详情页查看资源组使用率过高,可以手动扩容资源组规格,从而提升数据集成、任务调度、数据服务的任务处理性能。如果包年包月资源组实际使用率较低,可手动缩容资源组规格,从而节约成本。

  1. 进入资源组列表页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组,进入资源组列表页面。

  2. 单击目标资源组操作列的image > 扩容缩容

    说明

    缩容可能导致任务变慢,请评估后谨慎操作。

  3. 在资源组变配页面,调整资源组规格后,勾选服务协议,单击立即购买

相关文档

  • 资源组的更多介绍,请参见DataWorks资源组概述

  • 支持通过运维中心的智能监控功能来对资源组的使用率及等待资源的实例数进行监控。详情请参见创建自定义规则

  • 在资源组列表页,查看实例状态时:

    • 如果资源组显示已到期,请单击目标资源组操作列的image.png> 续费

    • 如果资源组的资源使用率达到警戒线,请单击目标资源组操作列的image.png> 扩容,详情请参见资源组扩缩容操作

  • 如果运行在Serverless资源组上的任务需要特定的开发环境(例如第三方库依赖),您可以创建一个集成必要开发包与依赖的自定义镜像,然后在运行任务时,指定Serverless资源组作为执行资源,并指定该镜像作为运行环境。