全部产品

工作流

更新时间:2019-01-31 16:41:35

工作流可以对作业进行组织编排、设定运行依赖关系,进行定时、周期性调度,并设置失败报警。
入口:https://hbase.console.aliyun.com/hbase/cn-shanghai/workspace/workflow

比如下面这个4节点的菱形工作流。
当工作流运行时,依赖调度运行顺序基本是:

  • a开始
  • a结束
  • b, c同时开始
  • d需要等待b, c结束
  • b结束
  • c结束
  • d开始
  • d结束

4节点

新建工作流

先创建一个空的工作流,选择好要运行的集群。
新建工作流

工作流编排

增加作业节点

鼠标点击拖拽一个SparkJob控件到编排区域,会自动弹出节点配置。后续也可以通过单击节点来更新配置。
然后关联作业,点击确定。
增加节点

连线编排

作业节点新建配置好之后,开始连线编排。从START节点开始,根据作业依赖进行连线,最后以END节点结束。
连线编排

调度设置

工作流可以直接运行,也可以设置周期性定时调度。

运行

直接运行时,默认立即执行,也可以设置运行开始时间。
立刻运行

调度设置

调度设置的参数和特性说明如下:

  • 开始时间-结束时间:调度的有效时间范围。不能超过1年。开始时间不得早于当前时间。
  • 调度周期:最短时间间隔为30分钟。

调度例子:
开始时间:2019-02-01 00:10:00
结束时间:2019-02-28 00:00:00
调度周期:30分钟
任务运行时间点:00:10:00,00:40:00,01:10:00,01:40:00,02:10:00,…..

注意:由于是fixed-rate类型,所以就算上一个任务运行时间较长甚至还没跑完,新的工作流也会严格按照时间点启动。

调度

告警设置

打开告警设置后,工作流运行失败的话,会向“告警联系方式”设置的对象发送失败报警信息。报警信息包括失败的工作流名称、id,失败作业列表的基本信息。
告警钉钉报警

运行记录

点击“运行记录”,可以查看该工作流的所有运行实例情况,点击“详情”可以查看详情的运行情况。
运行记录

工作流运行详情

从工作流详情的“图形化展示”页面可以直观看到作业的调度运行情况。如上所述,a运行完成后,b和c可以同时启动。
工作流运行详情1工作流运行详情2

暂停、恢复、停止、重跑

在工作流运行过程中可以暂停工作流,然后可以恢复。也可以直接停止工作流运行。
暂停和停止的区别是:暂停会等待正在运行的作业跑完再暂停,而停止是强行停止所有作业并停止工作流。
如果工作流运行中出现个别作业失败,可以通过重跑工作流-只重试失败节点来尝试恢复工作流的运行。
工作流运行详情重跑工作流