文档

手动任务快速入门

更新时间:

本文以SHELL任务类型为例,带您快速体验EMR Workflow中创建、运行以及关联手动任务等操作。

前提条件

步骤一:绑定集群和关联工作空间

  1. 使用阿里云账号(主账号)或RAM用户登录E-MapReduce控制台

  2. 在左侧导航栏,选择EMR Workbench > Workflow

  3. 在Workflow页面单击调度资源组

  4. 绑定集群或集群模板。

    1. 调度资源组页面,单击绑定集群

      image

    2. 绑定EMR集群/集群模板对话框中,单击绑定,绑定EMR集群或集群模板。

    3. 在弹出的对话框中,选择交换机和安全组,单击确定

      说明

      绑定集群大约需要5~10分钟,请耐心等待。

  5. (可选)关联工作空间。

    说明

    首次开通EMR Workflow服务时,将免费为您提供一个默认调度资源组。默认资源组开通时已自动关联至default工作空间。如果默认调度资源组不能满足您的需求,您也可以选择购买付费调度资源组。付费调度资源组的规格指标及计费规格详情,请参见调度资源组计费说明。付费调度资源组需要按照以下步骤关联工作空间。

    1. 调度资源组页面,单击关联工作空间

    2. 关联工作空间对话框中,单击对应工作空间操作列的关联

    3. 在弹出的对话框中,单击确定,即可将调度资源组绑定至此工作空间。

步骤二:新建项目

  1. 在Workflow页面单击工作空间

  2. 单击工作空间操作列的控制台

  3. 项目管理页面,单击创建项目

  4. 在弹出的对话框中,输入项目名称,单击确定

步骤三:创建手动任务

  1. 项目管理页面,单击新建项目的项目名称。

  2. 在左侧导航栏,选择数据开发 > 手动任务定义

  3. 手动任务定义页面,单击创建手动任务

  4. 在弹出的对话框中,配置相关的参数,单击确定

    本文以SHELL任务类型,使用自定义参数为例,更多参数信息请参见SHELL。其他任务类型详情请参见任务类型

    说明

    手动任务支持的任务类型,具体以控制台实际展示为准。

    参数

    示例

    任务名称

    shell_test

    任务类型

    SHELL

    任务提交节点

    选择调度资源组节点

    脚本

    echo "hello world, ${DD}"

    自定义参数

    自定义了VARCHAR类型的参数DD,将参数值设置为this is a test

    image.png

步骤四:运行手动任务

  1. 手动任务定义页面,单击目标任务操作列的运行

  2. 在弹出的对话框中,选择调度资源组,单击确定

步骤六:查看手动任务日志

  1. 在左侧导航栏中,单击手动任务实例

  2. 手动任务实例页面,单击目标任务名称操作列的查看日志,可以查看任务节点的运行日志。

(可选)步骤七:在工作流中关联手动任务

  1. 工作流定义页面,单击创建工作流

  2. 创建工作流页面,拖拽SHELL节点块到画布中。

    本文以SHELL任务类型为例。任务类型的详细信息,请参见任务类型

  3. 在弹出的对话框中,设置节点名称脚本,单击确定

    更多参数的说明,请参见SHELL

    参数

    说明

    关联手动任务

    打开关联手动任务开关,在手动任务名称下拉列表中选择已创建的手动任务(shell_test)。手动任务的创建操作,请参见管理手动任务

    节点名称

    您自定义的节点名称。例如shell。

    脚本

    关联手动任务时您无需写内容,会获取您关联任务的脚本。

  4. 保存工作流。

    1. 单击画布右上方的保存

    2. 在弹出的对话框中,输入工作流名称,单击确定

  5. 运行工作流。

    1. 工作流定义页面,单击运行

    2. 在弹出的对话框中,配置相关参数,单击确定

(可选)步骤八:查看任务实例日志

  1. 在左侧导航栏,选择实例运维>工作流实例,可以查看实例的运行状况。

  2. 在左侧导航栏,选择实例运维>任务实例

  3. 任务实例页面,单击目标任务名称操作列的查看日志,可以查看任务节点的运行日志。

常见问题

报错“The bucket you access does not belong to you”问题

相关文档