DataWorks支持创建自定义调度资源组，以保证任务的调度灵活性和数据同步的及时性。本文为您介绍如何新增并使用自定义调度资源组。

前提条件

  • 购买DataWorks

    仅DataWorks企业版及以上版本支持使用自定义调度资源组。您需要提前购买DataWorks企业版及以上版本，购买详情请参见DataWorks版本服务计费说明。

  • 已有自有服务器资源

    自定义调度资源组为您提供增加并发调度任务数量的能力。您需要购买自有服务器资源，才能使用自定义调度资源组。本文以ECS服务器为例，为您介绍自定义调度资源组如何添加自有服务器资源并使用，详情请参见资源组添加并初始化服务器。购买ECS服务器请进入ECS售卖页。

背景信息

调度资源组用于执行或分发调度系统下发的任务，DataWorks的调度资源组包括公共调度资源组、独享调度资源组和自定义调度资源组。 对于单个用户来说，公共资源组中的调度能力不能无限量承载不断增加的并发调度任务量。如果调度的任务瞬时并发数量过多，则会出现资源等待的情况，导致任务调度实际运行时间延迟。如果您想将已购买的ECS实例用于DataWorks任务调度，可以将其添加为DataWorks自定义调度资源组。
说明 默认情况下，您提交的调度任务均会运行在DataWorks提供的公共调度资源组上。
自定义资源组和独享资源组的运维管理差异如下：
  • 自定义调度资源组：机器完全可控、可登录访问，需要您自行运维。
  • 自定义数据集成资源组：运维完全托管于系统，系统提供可用保障，无需担心机器服务等问题。

使用限制

自定义调度资源组仅支持Shell类型的任务使用。

操作流程

新增自定义调度资源组

  1. 进入自定义资源组页面。
    1. 登录DataWorks控制台。
    2. 在左侧导航栏，单击资源组列表，选择目标地域。
    3. 在资源组列表页面，单击自定义资源组。
  2. 新增自定义调度资源组。
    1. 在自定义资源组页签下，单击右上方的新增调度资源。
    2. 在新增调度资源对话框中，输入资源名称并选择归属工作空间。
      新增调度资源组自定义调度资源组配置完成后即可供其所归属的工作空间内的任务使用。如果后续您需要修改资源组归属的工作空间，可参见通用参考：修改资源组。
    3. 单击确定，新增自定义调度资源组完成。

资源组添加并初始化服务器

自定义调度资源组创建完成后，您需要为资源组添加需要的服务器，并初始化服务器。

  1. 添加服务器。
    新增调度资源
    1. 在自定义资源组页签下，单击目标资源组操作列的服务器管理。
    2. 在管理服务器对话框中，单击增加服务器。
    3. 在新增调度资源对话框中，配置各项参数。
      参数描述
      网络类型网络类型默认为专有网络。
      ECS UUID您可以在ECS上执行dmidecode | grep UUID命令，获取ECS UUID。
      机器IP您可以在ECS上执行hostname -i命令，获取机器的IP。
    4. 单击确定，成功添加服务器。
  2. 初始化服务器。
    1. 在自定义资源组页签下，单击目标资源组操作列的服务器初始化。
    2. 您需要登录ECS服务器，参考服务器初始化对话框中的操作初始化服务器。
      服务器初始化初始化完成后，您可以开始使用新增的自定义调度资源组。

使用自定义调度资源组

如何切换任务使用的资源组

自定义调度资源组创建并配置完成后，您可以通过如下方式切换任务使用的资源组为自定义调度资源组。
说明

  • 自定义调度资源组仅支持Shell类型的任务使用。

  • 自定义调度资源组仅支持其所归属工作空间中的任务使用。如果您需要修改资源组归属的工作空间，详情请参见通用参考：修改资源组。
操作环境支持的切换操作界面入口
切换生产环境资源组
  • 单个任务切换
  • 批量切换
进入运维中心 > 周期任务界面设置。
  • 单个任务切换

    单击目标任务操作列的更多 > 修改调度资源组，即可修改。

    切换单个任务资源组
  • 批量切换
    勾选需要修改资源组的任务，单击底部菜单栏的修改调度资源组，即可批量修改。批量切换资源组
切换开发环境资源组
  • 单个任务切换
  • 批量切换
进入DataStudio页面设置。
  • 单个任务
    进入目标节点的编辑页面，在右侧导航栏的调度配置 > 资源属性中即可修改。调度配置
  • 批量切换
    单击批量操作图标，勾选需要修改资源组的任务，单击底部菜单栏的修改调度资源组，即可批量修改。批量切换
切换任务调试资源组仅支持单个任务切换进入DataStudio > 节点编辑页面设置。
单击运行图标，即可切换节点使用的调度资源组。单个任务调试切换资源组
切换资源组的详细操作步骤，请参见通用参考：修改资源组。

如何在Shell节点中调用odps任务

调用odps任务的Shell命令示例如下：
/opt/taobao/tbdpapp/odpswrapper/odpsconsole/bin/odpscmd   -u  {accessId}  -
p {accesskey}   --project=xxxx   --endpoint=xxxxx   -e  "你的代码sql代码"

其中endpoint地址可参考MaxCompute官网地址：Endpoint。