手动任务快速入门

前提条件

• 已完成系统角色授权，详情请参见EMR Workflow角色授权。

• 已在EMR on ECS页面创建集群或集群模板，详情请参见创建集群或创建集群模板。

  支持绑定的集群类型为DataLake、Hadoop和Custom。

步骤一：绑定集群和关联工作空间

1. 使用阿里云账号（主账号）或RAM用户登录E-MapReduce控制台。

2. 在左侧导航栏，选择EMR Workbench > Workflow。

3. 在Workflow页面，单击调度资源组。

4. 绑定集群或集群模板。

   1. 在调度资源组页面，单击绑定集群。

      

   2. 在绑定EMR集群/集群模板对话框中，单击绑定，绑定EMR集群或集群模板。

   3. 在弹出的对话框中，选择交换机和安全组，单击确定。

      说明

      绑定集群大约需要5~10分钟，请耐心等待。

5. （可选）关联工作空间。

   说明

   首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。默认资源组开通时已自动关联至default工作空间。如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。付费调度资源组的规格指标及计费规格详情，请参见调度资源组计费说明。付费调度资源组需要按照以下步骤关联工作空间。

   1. 在调度资源组页面，单击关联工作空间。

   2. 在关联工作空间对话框中，单击对应工作空间操作列的关联。

   3. 在弹出的对话框中，单击确定，即可将调度资源组绑定至此工作空间。

步骤三：创建手动任务

1. 在项目管理页面，单击新建项目的项目名称。

2. 在左侧导航栏，选择数据开发 > 手动任务定义。

3. 在手动任务定义页面，单击创建手动任务。

4. 在弹出的对话框中，配置相关的参数，单击确定。

   本文以SHELL任务类型，使用自定义参数为例，更多参数信息请参见SHELL。其他任务类型详情请参见任务类型。

   说明

   手动任务支持的任务类型，具体以控制台实际展示为准。

   参数	示例
   任务名称	shell_test
   任务类型	SHELL
   脚本	echo "hello world, ${DD}"
   自定义参数	自定义了VARCHAR类型的参数DD，将参数值设置为this is a test。

步骤四：运行手动任务

1. 在手动任务定义页面，单击目标任务操作列的图标。

2. 在弹出的对话框中，选择在集群管理中绑定的集群，单击确定。

步骤六：查看手动任务日志

1. 在左侧导航栏中，单击手动任务实例。

2. 在手动任务实例页面，单击目标任务名称操作列的图标（查看日志），可以查看任务节点的运行日志。

（可选）步骤七：在工作流中关联手动任务

1. 在工作流定义页面，单击创建工作流。

2. 在创建工作流页面，拖拽SHELL节点块到画布中。

   本文以SHELL任务类型为例。任务类型的详细信息，请参见任务类型。

3. 在弹出的对话框中，设置节点名称和脚本，单击确定。

   更多参数的说明，请参见SHELL。

   参数	说明
   关联手动任务	打开关联手动任务开关，在手动任务名称下拉列表中选择已创建的手动任务（shell_test）。手动任务的创建操作，请参见管理手动任务。
   节点名称	您自定义的节点名称。例如shell。
   脚本	关联手动任务时您无需写内容，会获取您关联任务的脚本。

4. 保存工作流。

   1. 单击画布右上方的保存。

   2. 在弹出的对话中，输入工作流名称，单击确定。

5. 运行工作流。

   1. 在工作流定义页面，单击图标（上线）。

   2. 单击图标（运行）。

   3. 在弹出的对话框中，在执行集群下拉列表中选择已绑定的集群，单击确定。

（可选）步骤八：查看任务实例日志

1. 在左侧导航栏，选择实例运维>工作流实例，可以查看实例的运行状况。

2. 在左侧导航栏，选择实例运维>任务实例。

3. 在任务实例页面，单击目标任务名称操作列的图标（查看日志），可以查看任务节点的运行日志。

（可选）步骤九：下线工作流

在工作流定义页面，单击目标工作流操作列的（下线）。

常见问题

报错“The bucket you access does not belong to you”问题

相关文档

• 更多任务类型的详细信息，请参见任务类型。

• 手动任务相关的操作，请参见管理手动任务。

• 如需新购调度资源组，请参见管理调度资源组。