在E-MapReduce数据开发项目中,您可以在作业编辑中定义一组有依赖的作业,然后创建工作流,使作业按照依赖依次执行。E-MapReduce工作流支持基于有向无环图(DAG)并行执行大数据作业,您可以通过E-MapReduce控制台管控工作流调度以及查看工作流的执行状态。
背景信息
前提条件
新建工作流
通过以下步骤,可以新建工作流。
- 进入数据开发的项目列表页面。
- 通过阿里云账号登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的数据开发页签。
- 在项目列表页面,单击目标项目右侧的工作流设计。
- 新建工作流。
编辑工作流
配置工作流调度
您可以打开工作流调度配置面板,配置工作流调度参数,调度系统会按照参数定时运行相关工作流,并将作业下发到指定集群上执行。以下介绍如何配置工作流的基本属性、调度属性和告警设置。
执行工作流
您也可以指定工作流的业务时间,此时工作流作业中的时间相关变量将使用指定的业务时间进行计算,一般用于重跑某个时间段的工作流实例,可以设置单次重跑或批量重跑。如果您的作业中没有任何时间相关变量,可以选择在当前时间立即执行,即可运行工作流。
- 进入数据开发的项目列表页面。
- 通过阿里云账号登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的数据开发页签。
- 在项目列表页面,单击目标项目右侧的工作流设计。
- 运行工作流。
查看工作流运行记录
运行工作流后,可通过以下步骤查看工作流运行记录。
工作流可执行操作
在工作流设计区域,您可以在工作流名称上单击右键,执行如下操作。
操作 | 说明 |
---|---|
克隆工作流 | 在同一文件夹下克隆出相同图形的工作流。
说明 工作流的调度参数目前无法克隆。
|
重命名工作流 | 重新命名工作流的名称。 |
删除工作流 | 删除工作流。当工作流在运行状态时无法删除。 |