任务流为一个或多个任务编排而成的任务组,采用有向无环图DAG(Directed acyclic graph)表达,它是数据分析的基础。本文将向您介绍任务流的创建、编排(设计)、配置。

创建任务流

本章节向您介绍如何创建任务流。

  1. 登录DMS控制台
  2. 在顶部菜单栏中,单击数据工厂 > 任务编排
  3. 任务编排页面的自由编排任务区域,单击新建任务流
  4. 新建任务流对话框,自定义填写任务流名称描述后,单击确认
    新建任务流

设计编排任务

本章节向您介绍如何打开任务流并进行设计与编排,您可以在任务流中添加一个或多个任务。

  1. 登录DMS控制台
  2. 在顶部菜单栏中,单击数据工厂 > 任务编排
  3. 任务编排页面,单击页面左侧的开发空间按钮按钮。
    任务编排-开发空间
  4. 任务编排区域,双击目标任务流。
    任务流列表
  5. 将左侧任务类型中的目标任务类型拖拽到页面中的空白区域。
    说明 关于数据开发任务类型及任务内容的编辑的详情,请参见任务
    拖曳任务
  6. (此步骤为可选)在多任务中,将鼠标放在DAG图的任务上,单击圆点并拉出连接线,连接至目标任务。
    连接任务
    您可以通过该方式将多个任务连接起来(形成任务流),设计任务执行的先后顺序。例如下图的执行顺序为:先执行a,再执行b,最后同步执行ce任务流实例

开启调度配置

本章节向您介绍如何进行任务流调度配置。任务流调度周期支持每月、每周、每天等多维度配置,您可以按需求选择调度周期。

  1. 在任务流页面,单击空白处。
  2. 在页面左侧,单击调度配置页签。
  3. 参考下表配置参数。
    配置项 说明
    调度类型 请选择调度类型,当前支持:
    • 周期调度
    • 调度一次
    说明 若您选择调度一次,您仅需配置具体时间即可。
    生效时间 请选择调度周期生效的区间,默认为1970-01-01~9999-01-01,表示一直生效。
    调度周期 请选择调度的周期,目前支持小时、日、周、月的粒度调度。
    指定时间 请根据您选择的调度周期选择指定时间。
    具体时间 请设置触发调度的具体时间。
    cron表达式 系统会根据您配置的具体周期、时间进行联动展现。

    例如下图表示:每个工作日的早上5点执行调度任务。

    调度配置
  4. 单击保存即可生效。

配置基础属性

本章节向您介绍如何在任务流中配置任务流名称责任人相关人员等基础属性。

  1. 在任务流页面,单击空白处。
  2. 在页面左侧,单击基础属性页签。
  3. 参考下表配置参数。
    任务流-基础属性配置
    配置项 说明
    任务流名称 设置任务流名称。
    责任人 请配置责任人责任人可编辑当前任务流、任务相关配置,可试运行任务,并接收任务运行告警信息。
    相关人员 请配置相关人员相关人员可查看当前任务流、任务相关配置的权限,可试运行任务,但无法编辑权限任务流。
    说明 DMS的管理员和DBA也默认具有相关人员的基本权限,同时额外具备编辑责任人的权限。
    开启消息通知 选择是否开启该条任务流的消息通知。
    说明 消息通知功能还需要您的DBA或管理员在系统管理中开启任务流消息通知,详情请参见消息通知管理
  4. 单击保存即可生效。

查看操作历史

本章节向您介绍如何查看任务流的所有变更操作历史。

  1. 在任务流页面,单击空白处。
  2. 在页面左侧,单击操作历史页签,即可查看该任务流的所有更改操作。
    任务流-操作历史

配置任务流变量

本章节向您介绍如何设置任务流变量。

您可以在SQL任务中,用${变量名}表示时间点。系统存在一个默认变量:bizdate, 格式是yyyy-MM-dd,表示运行时间的前一天。任务流变量即在任务流中的每一个任务中都可以对其进行调用。关于系统变量的规则与作用详情,请参见任务

  1. 在任务流页面,单击空白处。
  2. 在页面左侧,单击任务流变量页签。
  3. 配置变量名变量规则参数。
  4. 单击保存即可生效。