周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍脚本任务、逻辑表任务和萃取任务的通用功能,包括背景信息、核心概念、支持的调度类型和相关功能说明。

背景信息

周期实例生成方式为T+1次日生成:
  • 23:00之前提交发布的任务,次日即生成实例。
  • 23:00之后提交发布的任务,第三天才会生成实例。如果该任务次日就需要启动运行,您可以通过补数据操作实现。

调度方式

调度方式 描述
正常调度 按照配置的调度周期和起调时间,并正常执行。
空跑调度 按照调度周期的时间配置调度,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。
暂停调度 暂停调度的任务生成的实例均为暂停调度状态,可通过恢复操作使实例恢复运行。暂停适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。
详细说明如下:
  • 任务暂停后,实例正常生成(每日凌晨生成实例),生成所有实例的状态均为暂停。暂停任务适用于任务节点及其下游节点暂时不需要调度,但是任务暂时不需要下线的场景。
  • 恢复任务后任务调度配置部分的暂停调度变成正常调度;对于某个暂停调度的任务,如果有部分实例需要运行,您就可以手动将实例恢复至正常调度状态。

页面介绍

请参见入口介绍,进入周期任务页面。周期任务运维列表页面包括脚本任务、逻辑表任务和萃取任务。

周期任务页面以列表和DAG图的方式,为您展示已提交的周期任务。列表为您展示周期任务支持的运维管理操作,包括快速查看脚本任务、逻辑表任务和萃取任务的信息、快捷单节点运维操作和批量运维操作。DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:
  • 周期任务列表

    周期任务列表页面展示当前业务类型的任务对象、调度周期、优先级、 负责人、 资源组、更新时间及支持的操作。

    teat
    操作 描述
    筛选 在上图的模块①区域,您可以通过筛选条件过滤需要查询的任务。
    筛选项包括:
    • 我的任务:运维负责人为您自己的任务。
    • 我的已暂停的任务:筛选负责人为您自己,且调度属性为暂停调度的任务。
    • 我的空跑调度任务:筛选负责人为您自己,且调度属性为空跑调度的任务。
    • 业务类型:取项目(Data_disitll)支持选择脚本任务和萃取任务。非Data_distill项目支持选择脚本任务、逻辑表任务。
    • 细分类型:
      • 业务类型选择为脚本任务时,细分类型包括MAX_COMPUTE_SQL、MAX_COMPUTE_MR、SPARK_JAR_ON_MAX_COMPUTE、SHELL、PYTHON、DATAX、DLINK、VIRTUAL、FLINK_SQL(流批一体任务)、FLINK_TEMPLATE_SQL(流批一体任务)、PAI_DESIGNER。
      • 业务类型选择为逻辑表任务时,细分类型包括维度逻辑表、事实逻辑表和汇总逻辑表。
      • 业务类型选择为萃取任务时,细分类型包括标签节点、规则节点、萃取系统节点和标签逻辑表。
    • 调度周期:任务的调度周期,包括分钟、小时、日、周、月和年。
    • 负责人:运维对象的负责人。
    • 优先级:任务运行的优先级。
    • 是否暂停:当前任务是否暂停调度。

    如果您需要重新选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。

    DAG图 单击操作列下的test图标或单击任务对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:
    • 单击tegtwe图标,隐藏周期任务列表,放大DAG图。
    • 单击geg图标,隐藏DAG图。
    • 您也可以将鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。
    单任务运维 上图②区域,支持针对单任务进行运维管理。
    批量任务运维 上图③区域,支持批量选中多个任务(或快捷本页全选)进行运维管理。
  • 周期任务DAG图teta
    编号 描述
    展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息,包括节点详情、操作日志和节点代码(物化代码)。
    说明 逻辑表任务节点支持查看物化代码。脚本任务和逻辑表任务支持查看节点代码。
    展示任务的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。
    • 脚本任务的展示及操作说明,详情请参见DAG图
    • 逻辑表任务的展示及操作说明,详情请参见DAG图
    • 萃取任务的展示及操作说明,详情请参见DAG图
    快捷设置以main节点为中心向上向下展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。
    快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。

    同时,展示当前DAG图中main节点的节点ID和节点名称。