您可以根据业务场景需求选择购买合适规格的独享调度资源组,用于任务的调度运行。购买独享资源组后,在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。

前提条件

购买和使用独享调度资源组前:
  • 您需先了解独享调度资源组的规格性能(不同规格能同时跑多少任务)、计费类型(不同规格怎么收费)等细节,提前根据业务场景规划需购买的资源组规格和购买时长,详情请参见独享调度资源组计费说明:包年包月
  • (可选)如果独享调度资源组在后续的应用中可能涉及与数据源的交互,例如,在数据集成的场景下,需要通过Shell访问自建数据库或某个内部地址;或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时,您还需了解不同场景下,独享调度资源组与数据源间或引擎间的网络连通方案和白名单注意事项,详情请参见独享调度资源组概述
    说明 如果您暂无连通数据库实例的需求,只是为了缓解因公共调度资源组的资源紧张,导致任务延迟的问题,则无需关注本文涉及的网络相关问题。您可以购买任意可用区的独享调度资源组,且无需进行网络相关配置操作。

操作流程

购买资源组(创建订单)

  1. 登录阿里云账号并进入DataWorks独享资源组购买页面
  2. 在购买页面根据业务需要配置相应的参数,配置要点如下。
    • 地域和可用区:选择后续需要使用此独享资源组的地域。
      说明 独享调度资源组不支持跨地域使用。例如,华东2(上海)地域的独享资源,只能给华东2(上海)地域的工作空间使用。
    • 独享资源类型:选择为独享调度资源组
    其他配置项,例如计费周期等参数,可根据业务规划自行配置即可。
  3. 单击立即购买,根据界面提示进行付款等操作后即可完成购买独享调度资源组。
    完成购买后,您可以在我的订单中查看到此订单及订单号详情。查看订单后续您可根据订单号将此次购买的独享调度资源组添加到DataWorks控制台。

基于订单创建资源组

  1. 登录DataWorks控制台
  2. 单击左侧导航栏资源组列表,在独享资源组页签下单击创建调度资源组页面,配置各项参数。
    购买
    参数 描述
    资源组类型 选择添加的独享资源组类型。

    独享资源组包括独享调度资源组独享数据集成资源组,分别适用于通用任务调度和数据同步任务专用。

    资源组名称 设置资源组的名称,此名称需在租户内唯一,请避免重复,否则会导致在后续进行确定操作时报错。
    说明 租户即主账号,一个租户(主账号)下可以有多个用户(子账号)。
    资源组备注 对资源组进行简单描述。
    订单号 在下拉框中选择已购买的独享资源组的订单号。
    说明 如果还需要继续购买独享资源组,也可单击订单号后的购买继续购买,完成购买后回到此页面再将新购的独享资源组添加至DataWorks控制台。
  3. 单击确定,DataWorks即开始初始化此独享资源组,当资源组状态为运行中后,独享资源组即已添加至控制台。
    说明 独享资源组的初始化需要约20分钟,请您耐心等待其状态更新为运行中
独享资源组添加至控制台后,您需要为资源组绑定工作空间,才可以在任务的配置中选择使用此独享资源组。

绑定归属工作空间

独享调度资源组需要绑定归属的工作空间,才可以在对应的工作空间下选择使用该独享资源组。一个独享调度资源组可以分配给多个工作空间使用,但不可跨地域使用,例如,上海地域的独享调度资源组仅可绑定上海地域的工作空间使用,不可绑定其他地域的工作空间。绑定归属工作空间的操作如下。

  1. 登录DataWorks控制台
  2. 资源组列表独享资源组页签下,单击相应资源组后的修改归属工作空间
  3. 修改归属工作空间单击对应工作空间后的绑定,即可将独享资源组绑定至此工作空间。

(可选)绑定专有网络

如果独享调度资源组在后续的应用中可能涉及与数据源的交互,例如,在数据集成的场景下,需要通过Shell访问自建数据库或某个内部地址;或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时,您还需进行以下绑定专有网络、白名单的相关配置。

独享资源组部署在DataWorks托管的专有网络中,您需要绑定自己的专有网络后,独享资源组才可与其他数据源连通。绑定专有网络的操作如下。
注意 4c8g类型的独享调度资源组最多支持绑定2个专有网络,其他规格的独享调度资源组最多支持绑定3个专有网络。
  1. 登录DataWorks控制台
  2. 资源组列表独享资源组页签下,单击相应资源组后的专有网络绑定,进入绑定页面。
    绑定前,请首先使用阿里云主账号进行RAM授权(仅主账号有权限),让DataWorks拥有访问您的云资源的权限。授权
  3. 绑定专有网络VPC
    1. 单击专有网络绑定页面左上方的新增绑定,在新增专有网络绑定对话框中,配置各项参数,不同网络环境下各参数的配置说明如下。
      参数说明如下:
      参数 配置说明(数据源与独享资源在同一地域) 配置说明(数据源与独享资源不在同一地域)
      专有网络 如果您的数据源与独享资源组在同一个阿里云账号下,建议配置为数据源所在的VPC。

      如果不在同一个阿里云账号下,则与不在同一地域场景一致。

      如果您的数据源与独享资源不在同一地域,例如,数据源不在阿里云VPC网络环境中,您可单击创建专有网络,为独享资源组创建一个VPC。创建完成后这里配置为新建的VPC。
      说明 此场景下,您还需通过VPN或高速通道等方式,将独享资源组绑定的VPC与数据源所在VPC网络打通,并手动添加路由指向目标数据库IP,保障两个网络间可达。
      交换机 专有网络配置为数据源所在VPC时,建议选择与数据源绑定的交换机。 专有网络配置为其他VPC,或没有可用交换机时,可单击创建交换机,为独享资源组单独创建一个交换机。创建完成后这里配置为创建的交换机。
      说明 绑定数据源所在VPC后,绑定VPC下任意一个交换机,会自动添加路由至整个VPC网段,实现独享数据集成资源组在该VPC下网络可达。
      安全组 安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已有的安全组,或单击创建安全组为独享资源实例创建安全组。创建安全组的详细参数配置可参见添加安全组规则
    2. 单击确定,完成绑定VPC操作。
  4. 可选:配置Host
    如果您的数据源无法通过IP直接访问,例如,数据源通过Host的域名托管,通过Host域名直接被外部访问时,您需要参考以下步骤配置Host,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。
    1. 单击Host配置,在Host配置页面左上方单击新增,在新增域名Host配置对话框中配置各项参数。参数说明如下。
      参数 配置说明
      IP地址 配置为数据源的实际IP地址。
      Host域名 配置为数据源对外提供访问服务的Host域名。如果有多个Host域名时,可换行依次添加。
      说明 此处的域名需包含数字、字母、连字符(-)、点(.),且必须以字母开头,以字母或者数字结尾。
    2. 如果有多个IP地址需要添加,可继续单击新增继续添加。
      说明
      • 新增的Host配置中,IP、域名不能与之前配置的Host中的IP或域名重复。
      • 一个Host配置中,IP与域名为1对多的关系,即IP可以对应多个Host域名,但是同一个Host域名只能指向一个IP。
  5. 可选:配置DNS
    如果您的数据源无法通过IP直接访问,例如,数据源通过负载均衡域名直接被外部访问,通过内部域名解析服务器将域名解析至实际数据源IP地址时,您需要参考以下步骤配置DNS,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。
    说明 如果同一个域名同时配置了Host和DNS,系统会优先根据Host的访问规则访问数据源。
    1. 单击DNS配置,在DNS配置页面左下角单击添加,配置完成DNS各项参数后单击保存。参数说明如下。
      参数 配置说明
      Domain 非必配项。如果数据源有统一的一级域名,可在此处配置为数据源对外提供访问的域名的一级域名。

      例如,数据源1对外的访问域名为domain1.example.com,数据源2对外的访问域名为domain2.example.com,此处建议配置为example.com。

      说明 此处的域名需包含数字、字母、连字符(-)、点(.),且必须以字母开头,以字母或者数字结尾。
      NameServer 配置为数据源提供域名解析的解析服务的IP地址。如果有多个域名解析服务器时,可换行依次添加。
    2. 如果您需要修改之前配置的DNS,您可单击左下角的修改

(可选)添加白名单

独享调度资源组和数据源同可用区时,如果同专有网络、交换机的情况下仍未连通网络,则可能是因为数据源有白名单限制。请添加以下内容至数据源的白名单列表中。
  • 使用内网连通数据源与独享资源组:添加独享资源组绑定专有网络时的交换机网段至数据源白名单中。
    您需要为独享资源组绑定专有网络后,进入DataWorks的资源组列表 > 独享资源组页面,单击相应资源组后的专有网络绑定,查看交换机网段独享绑定的交换机网段
  • 使用公网连通数据源与独享资源组:添加独享资源组的EIP地址至数据源白名单中。查看独享资源组EIP

应用示例:独享调度资源组

  • 修改在DataStudio页面测试任务使用的资源组
    1. DataStudio页面,双击打开相应节点的编辑页面。
    2. 单击工具栏中的高级运行图标。
    3. 参数对话框中,选择测试运行使用的调度资源组
    4. 单击确定
  • DataStudio修改使用的调度资源组
    1. DataStudio面板,双击打开相应节点的编辑页面。
    2. 单击右侧的调度配置,在资源属性区域选择任务调度运行时需要使用的资源组。详情请参见配置资源属性资源组
  • 运维中心修改使用的调度资源组
    1. 运维中心的左侧导航栏,单击周期任务运维 > 周期任务
    2. 单击页面中间的箭头展开任务列表后,单击相应周期任务后的更多 > 修改资源组修改资源组
      注意 虚节点、业务流程、机器学习等任务类型不支持修改资源组,请勿选择。
      如果您需要批量修改资源组,请在周期任务页面,选中需要修改的周期任务,单击页面下方的修改资源组批量修改资源组
    3. 修改资源组对话框中,选择相应的调度资源组,单击确定