全部产品
云市场
云游戏

工作流

更新时间:2020-07-07 14:25:56

工作流用于对作业进行组织编排、设定运行依赖关系、设置周期性作业调度以及告警设置。

新建工作流

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 工作流

  4. 工作流页面,单击新建工作流

  5. 新建工作流页面,设置工作流名称工作流描述(可选),从执行集群下拉框中选择工作流运行的集群,单击确定

    新建工作流

工作流编排

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 工作流

  4. 工作流页面,单击目标工作流。

  5. 单击SparkJob控件并将其拖拽到编排区域。

  6. 节点配置页面,设置关联作业,单击确定

    如果需要重新编辑某个控件,单击控件即可打开节点配置页面。

连线编排

作业节点新建并配置好之后,开始连线编排。从START节点开始,根据作业依赖进行连线,最后以END节点结束。

连线编排

调度设置

工作流可以直接运行,也可以设置周期性定时调度。

  • 直接运行工作流

    直接运行工作流时,默认立即执行,也可以自行设置运行开始时间。

    立刻运行

  • 定时运行工作流

    通过工作流配置可以设置工作流的开始运行时间、结束运行时间以及调度周期:

    • 开始时间结束时间:调度的有效时间范围,不能超过1年,开始时间不得早于当前时间。

    • 调度周期:最短时间间隔为30分钟。

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 工作流

  4. 工作流页面,单击目标工作流,然后单击工作流配置

  5. 工作流调度配置页面,按照页面提示进行参数配置。

    工作流调度配置

    参数 说明
    调度状态 选择开启
    开始时间 工作流开始运行时间,开始时间不得早于当前时间。
    结束时间 工作流结束运行时间,调度的有效时间范围不能超过1年
    调度周期 最短时间间隔为30分钟。
    CRON表达式 默认设置。

    由于工作流调度配置是fixedRate类型,因此即使上一个任务在规定时间内未运行结束,新的工作流也会严格按照设定时间准时启动。

告警设置

打开告警设置后,若工作流运行失败,会向告警联系方式设置的对象发送失败报警信息。报警信息包括失败的工作流名称、ID和失败作业列表的基本信息。

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 工作流

  4. 工作流页面,单击目标工作流,然后单击工作流配置

  5. 工作流调度配置页面,单击告警设置页签,然后选择

    开启告警设置钉钉报警

查看运行记录

支持通过运行记录查看工作流的所有运行实例情况。

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 工作流

  4. 工作流页面,单击目标工作流,然后单击运行记录

    运行记录

    • 详情:单击详情查看运行详情。

      运行详情

    • 删除:单击删除删除执行记录。

暂停、恢复、停止、重跑工作流

在工作流运行过程中,可以暂停工作流,然后再恢复运行工作流;也可以直接停止工作流运行。

  • 暂停:等待正在运行的作业运行完成后再暂停。

  • 停止:强行停止所有作业运行并停止工作流。

如果工作流运行过程中,某个作业运行失败,可以通过重跑工作流,只重试失败节点来尝试恢复工作流的运行。

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的独享版 Spark > 数据工作台 > 工作流

  4. 工作流页面,单击目标工作流,然后单击运行记录

    运行记录

  5. 单击目标工作流右侧的详情

  6. 在工作流详情页面,单击重跑工作流

    重跑工作流