DataWorks为您提供自定义调度资源组和自定义数据集成资源组,以保证任务的调度灵活性和数据同步及时性。本文为您介绍如何新增自定义调度资源组,并修改任务运行的资源组。

前提条件

您需要购买DataWorks企业版及以上版本,才可以使用自定义调度资源组。

背景信息

自定义调度资源组为您提供增加并发调度任务数量的能力,自定义任务资源组为您提供自由扩展数据同步速度的能力。您需要购买自有ECS服务器,才能使用自定义调度资源组和自定义任务资源组。购买ECS服务器请进入ECS售卖页
自定义资源组和独享资源组的差异如下:
  • 自定义资源组的机器完全可控、可登录访问,但需要您自行运维。
  • 独享资源组的运维完全托管于系统,系统提供可用保障,您无需担心机器服务等问题。
调度资源组用于执行或分发调度系统下发的任务,DataWorks的调度资源组包括公共调度资源组自定义调度资源组
说明 默认情况下,您提交的调度任务均会运行在DataWorks提供的公共调度资源组上。

对于单个用户来说,公共资源组中的调度能力不能无限量承载不断增加的并发调度任务量。如果调度的任务瞬时并发数量过多,则会出现资源等待的情况,导致任务调度实际运行时间延迟。

如果您想要拥有更强的调度能力,请购买ECS配置自定义调度资源组。自定义资源组在使用、配置文件、命令等方面的常见问题和解决方案,请参见自定义资源组

操作步骤

  1. 进入自定义资源组页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击资源组列表
    3. 资源组列表页面,单击自定义资源组
      自定义资源组
  2. 新增自定义调度资源组。
    1. 自定义资源组页签下,单击右上方的新增调度资源
    2. 新增调度资源对话框中,输入资源名称并选择归属工作空间
    3. 单击确定
  3. 管理服务器。
    1. 自定义资源组页签下,单击新增资源组后的服务器管理
    2. 管理服务器对话框中,单击增加服务器
    3. 新增调度资源对话框中,配置各项参数。
      新增调度资源
      参数 描述
      网络类型 包括经典网络专有网络
      说明 经典网络仅支持华东2(上海)地域,建议您选择网络类型专有网络
      服务器名称 请输入真实的主机名称,不支持自定义。您可以在ECS上执行命令hostname,获取服务器的名称。
      说明 仅选择网络类型经典网络时,显示该参数。
      ECS UUID 您可以在ECS上执行命令dmidecode | grep UUID,获取ECS UUID。
      说明 仅选择网络类型专有网络时,显示该参数。
      机器IP 您可以在ECS上执行命令hostname -i,获取机器的IP。
      注意 请勿混淆经典网络和专有网络的服务器、UUID和机器IP。
    4. 单击确定
  4. 初始化服务器。
    1. 自定义资源组页签下,单击新增资源组后的服务器初始化
    2. 登录ECS服务器,依次完成服务器初始化对话框中的操作。
  5. 进入数据开发页面。
    1. 返回DataWorks控制台。
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击调度资源组归属工作空间后的进入数据开发
  6. 修改任务运行的调度资源组。
    您可以在运维中心调度配置或节点的编辑页面修改调度资源组:
    • 运维中心页面修改调度资源组:
      1. 数据开发页面,单击左上方的DataWorks图标图标,选择全部产品 > 任务运维 > 运维中心(工作流)
      2. 在左侧导航栏,单击周期任务运维 > 周期任务
      3. 单击页面中间的箭头展开任务列表后,单击相应周期任务后的更多 > 修改资源组修改资源组
        注意 虚节点、业务流程、机器学习等任务类型不支持修改资源组,请勿选择。
        如果您需要批量修改资源组,请在周期任务页面,选中需要修改的周期任务,单击页面下方的修改资源组批量修改资源组
      4. 修改资源组对话框中,选择相应的调度资源组,单击确定
    • 调度配置页面修改调度资源组:
      1. 单击左上方的DataWorks图标图标,选择全部产品 > 数据开发 > DataStudio(数据开发),并切换至修改的归属工作空间。
      2. 数据开发面板,双击打开相应节点的编辑页面。
      3. 单击页面右侧的调度配置,在资源属性区域选择任务调度运行时需要使用的资源组。详情请参见配置资源属性资源组
    • 在节点的编辑页面修改测试运行使用的调度资源组:
      1. 单击工具栏中的运行图标。
      2. 参数对话框中,选择在数据开发页面测试运行使用的调度资源组自定义参数修改参数
      3. 单击确定