DataWorks推出Serverless资源组,涵盖原独享调度资源组、独享数据集成资源组、独享数据服务资源组的核心功能,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。本文是DataWorks Serverless资源组的端到端操作指南。遵循本指南,您可以完成从创建、配置网络、绑定工作空间到日常监控与管理的全部流程。
请确保您已阅读资源组管理,并了解Serverless资源组的核心概念和优势。
准备工作
已具备资源组相关权限:
购买权限:拥有
AliyunBSSOrderAccess
和AliyunDataWorksFullAccess
权限。管理权限:仅目标DataWorks工作空间的空间管理员角色可进行资源组归属空间绑定与修改的操作。
不确定如何授权?请参考查看RAM用户的权限、为RAM用户授权。资源组其他操作的权限控制,请参见控制台实体对象级权限管控策略。
环境与网络规划:
同地域原则:资源组必须与您的DataWorks工作空间在同一地域。
VPC规划 (必做):Serverless资源组强依赖专有网络(VPC),请提前准备好一个专有网络(VPC)及交换机(V-Switch)。
重要请勿随意变更已绑定至Serverless资源组的VPC和交换机环境,该操作可能导致DataWorks上的任务执行失败。
网络连通:为确保资源组访问数据源(目标网络环境下的数据库、数据服务或其他数据),请提前根据数据源情况,了解并完成网络连通。
重要Serverless资源组默认不具备公网访问能力,如需通过公网访问数据源,请为Serverless资源组绑定的VPC配置公网NAT网关和EIP。
创建Serverless资源组
免费试用与优惠抵扣包仅对按量付费资源组生效。若要使用您领取的优惠,请确保创建的是按量付费资源组。
进入资源组列表页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组,进入资源组列表页面。
单击创建资源组,进入Serverless资源组购买页面。关键参数如下:
旧版本用户操作在默认的独享资源组页签下。
参数
说明
地域和可用区
选择地域,需要和DataWorks工作空间所在的地域一致。
付费模式
提供预付费的包年包月模式和后付费的按量付费模式。
按量付费:适合负载波动大或测试场景,不使用不计费。支持按量付费转包年包月。
重要按量付费CU上限:单个按量付费资源组的总规格上限为 500 CU。
包年包月:适合长期稳定的生产负载,成本更低。不支持包年包月转为按量付费。
您可以同时购买多个不同计费方式的资源组,以满足您的业务需求。
资源组规格
当付费模式为包年包月时,设置购买的资源组规格。最小购买数量为2 CU,最小扩容步长为1 CU。
1 CU = 1核CPU + 4GiB内存
,具体购买建议及运行各任务需要的最低规格要求,请参见性能指标。专有网络(VPC)
根据资源组需要连通的专有网络来选择。若下拉列表没有选项,需要前往VPC控制台进行创建。
关于专有网络VPC的更多信息,详情请参见什么是专有网络VPC。
数据源与Serverless资源组同账号同地域:配置数据源所在的VPC和交换机。
数据源在其他复杂网络环境下:您还需通过VPN网关或高速通道等方式,将Serverless资源组绑定的VPC与数据源所在的VPC网络打通。详情请参见网络连通方案。
重要资源组支持绑定多个VPC,您可以在购买完成后为其绑定其他VPC。
若资源组付费模式为包年包月,则此处配置的VPC被应用于数据服务、数据计算和数据集成后,数据服务无法再新绑定专有网络或更换专有网络,请提前规划。
交换机(V-Switch)
计费周期
当付费模式为包年包月时,需要设置计费周期。
重要建议选中到期自动续费,可避免因资源到期停机或释放而影响业务。勾选后,自动续费周期为每月,在实例到期前会以实时价格自动扣费。自动续费可随时取消,详情请参见关于自动续费和手动续费。
服务关联角色
首次购买时需要创建服务关联角色(AliyunServiceRoleForDataWorks),后续会默认关联已创建的角色。
此角色用于访问专有网络VPC、弹性网卡ENI和安全组资源。遇到
Please create AliyunServiceRoleForDataWorks
提示时,请将此授权地址提供给主账号或其他有权限的人员进行授权,然后继续操作。
资源组配置与使用
1、为工作空间绑定资源组
创建资源组后,还需要将其与工作空间绑定。绑定完成后,才可以在目标工作空间创建各项任务时选择并使用Serverless资源组。
创建工作空间时绑定资源组
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的工作空间,进入工作空间列表页面。
单击创建工作空间,在创建工作空间页面,修改高级设置中的参数DataWork工作空间默认资源组的取值为已创建的目标资源组。
为已有工作空间绑定资源组
进入资源组列表页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的资源组,进入资源组列表页面。
单击目标资源组右侧操作列的绑定工作空间,找到待绑定的工作空间后,单击操作列的绑定。
2、配置网络连通
您需要完成网络连通的相关配置,使资源组可以访问到数据源,这是保障任务正常运行的关键步骤。Serverless 资源组本身不带公网出口。
场景一:访问VPC内数据源 (如 RDS, ECS自建数据库)
只需确保资源组绑定的VPC与数据源VPC相同,或已通过CEN、VPC对等连接等方式打通。
场景二:访问公网地址
您必须为资源组绑定的VPC配置NAT网关和EIP,以赋予其访问公网的能力。
详细操作请参见为资源组开通公网。
场景三:访问本地IDC
您需要通过VPN网关或高速通道将您的VPC和IDC网络打通。
更多复杂的网络场景,请参考网络连通方案。
3、在任务中使用资源组
Serverless资源组创建并配置完成后,您需要为数据集成、数据调度、数据服务等任务配置资源组,以便在各项任务中应用Serverless资源组。
对于数据集成任务:在同步任务的资源组配置选项,选择您创建的 Serverless 资源组。
对于数据开发任务 (Shell, Python等):在节点编辑页面的右侧
中,选择您创建的 Serverless 资源组。对于数据服务API:在 API 配置页面的右侧服务资源组中,选择您创建的 Serverless 资源组。
查看所有涉及资源组,请参见通用参考:切换资源组。
资源组运维与监控
给任务分配CU配额
您可为数据计算、数据集成和数据服务等分别配置资源组的CU上限(最大值)或CU保障(最小值),以确保各项任务能够顺利运行。
按量付费资源组配置CU上限,防止资源使用过多。
包年包月资源组配置CU保障,设置最低CU保障额度。
操作说明:在资源组列表页,单击目标资源组操作列的 > 配额管理,然后修改不同用途的CU上限或CU保障取值。
您也可在资源组列表页,单击目标资源组名称,进入资源组详情页面。在右上角单击配额管理,然后修改不同用途的CU上限或CU保障取值。
单任务CU建议:对于Python、Notebook、PyODPS等计算型任务,单个任务建议配置不超过16 CU(上限为64CU),以获得最佳的启动和运行稳定性。同步任务中,除实时同步任务外,其它类型的任务,单个任务最多可以分配16 CU。
调度并发上限调整
在数据调度场景下,您可以手动设置任务并发上限,控制最大允许多少个任务同时执行。此处配置与任务执行无关,不限制任务执行行为。单个资源组默认最多可同时运行50个调度任务,最大可调整至200个。
操作说明:在资源组列表页,单击目标资源组操作列的 > 数据调度并发上限,然后修改数据调度并发上限取值。
您也可在资源组列表页,单击目标资源组名称,进入资源组详情页面。在右上角单击数据调度并发上限,然后修改数据调度并发上限取值。
查看资源组使用率
当包年包月资源组的计算资源较高时,新提交的任务可能由于CU不足而进入排队等待状态,直到有可用资源。您可使用如下方式查看运行在该资源组上的任务、资源组当前使用率、历史时间点资源的使用情况以及每个任务占用的资源量。
操作说明:在资源组列表页,查看目标资源组当前利用列展示的资源组使用率。
您也可在资源组列表页,单击目标资源组名称,进入资源组详情页面。通过资源使用量曲线回顾历史时间点资源的使用情况,并按照资源组使用场景查看各场景下正在运行或等待运行的任务详情。
资源组扩缩容
资源组扩缩容操作涉及费用,具体计费规则,详见升配事项介绍。
若您在包年包月资源组详情页查看资源组使用率过高,可以手动扩容资源组规格,从而提升数据集成、任务调度、数据服务的任务处理性能。若包年包月资源组实际使用率较低,可手动缩容资源组规格,从而节约成本。
在资源组列表,单击目标资源组操作列的
> 扩容或缩容。
重要缩容可能导致任务变慢,请评估后谨慎操作。
在资源组变配页面,调整资源组规格后,勾选服务协议,单击立即购买。
资源组成本管理
冻结和启用按量付费资源组
冻结按量付费Serverless资源组:若按量付费Serverless资源组在7天内没有被使用,则该资源组将会被冻结,您可在资源组列表页查看资源组状态。以下场景均视为资源组未被使用:
调度任务:资源组未被用于运行任何调度型任务。
数据计算任务:资源组未被用于执行计算型任务。
数据集成任务:资源组未被用于运行数据集成任务。
数据分析查询:资源组未被用于执行数据分析查询。
连通性测试:资源组未被用于进行连通性测试。
元数据采集:资源组未被用于元数据采集任务。
个人开发环境:资源组未被用于个人开发环境。
数据服务:资源组未被用于支持数据服务。
启用冻结的Serverless资源组:若您需要重新启用冻结的Serverless资源组,请在资源组列表页,找到目标资源组,单击操作列的
。
按量付费转包年包月
按量付费的Serverless资源组可以将付费类型转为包年包月。转换成功后,该资源组将以包年包月资源组单价进行计费。
在资源组列表,单击目标资源组操作列的
按钮,选择付费类型转换,进入按量付费转包年包月弹窗。
在弹窗内,您可按照需求调整资源组的目标规格和购买时长。
调整完毕后,单击确认,进入阿里云收银台订购即可。
按量付费Serverless资源组转换为包年包月资源组时,转换时长约1~2分钟,任务不会受到影响。
资源组续费和退订
在资源组列表页,查看实例状态时:若资源组显示已到期,请单击目标资源组操作列的> 续费。
如需退订Serverless资源组,您可单击目标资源组操作列的> 退订,完成资源组的退订,详情请参见退订操作说明。
常见问题
Q:购买是否有地域限制?
A:购买限制如下。
若您需要在虚商环境下使用Serverless通用型资源组,请先确认您所对应的提供商是否已支持售卖该商品。
暂不支持泰国(曼谷)地域购买。
Q:Serverless资源组如何访问Host地址?
A:Serverless资源组不支持直接访问Host,如有需要您可通过内网DNS解析 (PrivateZone)对Host进行解析访问。
- 说明
如已开通内网DNS解析您可忽略此步骤。
已添加内网权威域名。
以主机域名
header-1-cn-shanghai
为例,对域名header-1-cn-shanghai
进行权威解析,您可根据自己主机域名配置情况调整该参数。解析记录值为域名绑定Host对应的
私有IP地址
。设置域名生效范围的VPC时,您需选择资源组绑定的VPC。