本文以SHELL任务类型为例,带您快速体验EMR Workflow中创建、运行以及关联手动任务等操作。
前提条件
已完成系统角色授权,详情请参见EMR Workflow角色授权。
已在EMR on ECS页面创建集群或集群模板,详情请参见创建集群或创建集群模板。
支持绑定的集群类型为DataLake、Hadoop和Custom。
步骤一:绑定集群和关联工作空间
使用阿里云账号(主账号)或RAM用户登录E-MapReduce控制台。
在左侧导航栏,选择EMR Workbench > Workflow。
在Workflow页面,单击调度资源组。
绑定集群或集群模板。
在调度资源组页面,单击绑定集群。
在绑定EMR集群/集群模板对话框中,单击绑定,绑定EMR集群或集群模板。
在弹出的对话框中,选择交换机和安全组,单击确定。
说明绑定集群大约需要5~10分钟,请耐心等待。
(可选)关联工作空间。
说明首次开通EMR Workflow服务时,将免费为您提供一个默认调度资源组。默认资源组开通时已自动关联至default工作空间。如果默认调度资源组不能满足您的需求,您也可以选择购买付费调度资源组。付费调度资源组的规格指标及计费规格详情,请参见调度资源组计费说明。付费调度资源组需要按照以下步骤关联工作空间。
在调度资源组页面,单击关联工作空间。
在关联工作空间对话框中,单击对应工作空间操作列的关联。
在弹出的对话框中,单击确定,即可将调度资源组绑定至此工作空间。
步骤二:新建项目
在Workflow页面,单击工作空间。
单击工作空间操作列的控制台。
在项目管理页面,单击创建项目。
在弹出的对话框中,输入项目名称,单击确定。
步骤三:创建手动任务
步骤四:运行手动任务
在手动任务定义页面,单击目标任务操作列的运行。
在弹出的对话框中,选择调度资源组,单击确定。
步骤六:查看手动任务日志
在左侧导航栏中,单击手动任务实例。
在手动任务实例页面,单击目标任务名称操作列的查看日志,可以查看任务节点的运行日志。
(可选)步骤七:在工作流中关联手动任务
在工作流定义页面,单击创建工作流。
在创建工作流页面,拖拽SHELL节点块到画布中。
本文以SHELL任务类型为例。任务类型的详细信息,请参见任务类型。
在弹出的对话框中,设置节点名称和脚本,单击确定。
更多参数的说明,请参见SHELL。
参数
说明
关联手动任务
打开关联手动任务开关,在手动任务名称下拉列表中选择已创建的手动任务(shell_test)。手动任务的创建操作,请参见管理手动任务。
节点名称
您自定义的节点名称。例如shell。
脚本
关联手动任务时您无需写内容,会获取您关联任务的脚本。
保存工作流。
单击画布右上方的保存。
在弹出的对话框中,输入工作流名称,单击确定。
运行工作流。
在工作流定义页面,单击运行。
在弹出的对话框中,配置相关参数,单击确定。
(可选)步骤八:查看任务实例日志
在左侧导航栏,选择实例运维>工作流实例,可以查看实例的运行状况。
在左侧导航栏,选择实例运维>任务实例。
在任务实例页面,单击目标任务名称操作列的查看日志,可以查看任务节点的运行日志。