快速使用EMR Workflow

前提条件

• 已完成系统角色授权，详情请参见EMR Workflow角色授权。

• 已在EMR on ECS页面创建集群或集群模板，详情请参见创建集群或创建集群模板。

  支持绑定的集群类型为DataLake、Hadoop和Custom。

步骤一：绑定集群和关联工作空间

1. 使用阿里云账号（主账号）或RAM用户登录E-MapReduce控制台。

2. 在左侧导航栏，选择EMR Workbench > Workflow。

3. 在Workflow页面，单击调度资源组。

4. 绑定集群或集群模板。

   1. 在调度资源组页面，单击目标资源组操作列的绑定集群。

      

   2. 在绑定 EMR 集群 / 集群模板对话框中，单击目标集群或集群模板操作列的绑定，绑定EMR集群或集群模板。

   3. 在弹出的对话框中，选择交换机和安全组，单击确定。

      说明

      绑定集群大约需要5~10分钟，请耐心等待。

5. （可选）关联工作空间。

   说明

   首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。默认资源组开通时已自动关联至default工作空间。如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。付费调度资源组的规格指标及计费规格详情，请参见调度资源组计费说明。付费调度资源组需要按照以下步骤关联工作空间。

   1. 在调度资源组页面，单击关联工作空间。

   2. 在关联工作空间对话框中，单击对应工作空间操作列的关联。

   3. 在弹出的对话框中，单击确定，即可将调度资源组绑定至此工作空间。

步骤二：新建项目

1. 在Workflow页面，在工作空间页签，单击目标工作空间操作列的控制台。

2. 在项目管理页面，单击创建项目。

3. 在弹出的对话框中，输入项目名称，单击确定。

步骤三：创建工作流

1. 在项目管理页面，单击新建项目的名称。

2. 在左侧导航栏，选择数据开发 > 工作流定义。

3. 在工作流定义页面，单击创建工作流。

4. 在创建工作流页面，拖拽SHELL节点块到画布中。

   本文以SHELL任务类型为例。任务类型的详细信息，请参见任务类型。

5. 在弹出的对话框中，配置相关参数，单击确定。

   设置示例如下表所示，其他参数保持默认值即可。更多参数的说明，请参见SHELL。如需关联手动任务，请打开关联手动任务开关，选择已有的手动任务，详情请参见手动任务快速入门。

   参数	说明

   参数	说明
   节点名称	您自定义的节点名称。例如shell。
   脚本	您自定义的Shell程序。

6. 保存工作流。

   1. 单击画布右上方的保存。

   2. 在弹出的对话框中，输入工作流名称，单击确定。

步骤四：运行工作流

1. 在工作流定义页面，单击目标工作流定义操作列的运行。

2. 在弹出的对话框中，在调度资源组下拉列表中选择调度资源组，单击确定。

步骤五：查看任务实例日志

1. 在左侧导航栏，选择实例运维>工作流实例，可以查看实例的运行状况。

2. 在左侧导航栏，选择实例运维>任务实例。

3. 在任务实例页面，单击目标任务名称操作列的查看日志，可以查看任务节点的运行日志。

（可选）步骤六：定时工作流

1. 在工作流定义页面，单击目标工作流定义操作列的定时。

2. 在弹出的对话框中，设置相关参数，单击确定。

   • 起止时间：在起止时间范围内，定时运行工作流；不在起止时间范围内，不再产生定时工作流实例。

   • 定时：选择执行的时间。

3. 开启目标工作流定时状态列的开关。

常见问题

报错“The bucket you access does not belong to you”问题

相关文档

• EMR Workflow的更多介绍，请参见什么是EMR Workflow。

• 更多任务类型的详细信息，请参见任务类型。

• 工作流相关的操作，请参见管理工作流。