通用功能说明

周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍脚本任务、逻辑表任务和萃取任务的通用功能,包括背景信息、核心概念、支持的调度类型和相关功能说明。

背景信息

周期实例生成方式为T+1次日生成:

  • 23:00之前提交发布的任务,次日即生成实例。

  • 23:00之后提交发布的任务,第三天才会生成实例。如果该任务次日就需要启动运行,您可以通过补数据操作实现。

调度方式

调度方式

描述

正常调度

按照配置的调度周期和起调时间,并正常执行。

空跑调度

按照调度周期的时间配置调度,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。

暂停调度

暂停调度的任务生成的实例均为暂停调度状态,可通过恢复操作使实例恢复运行。暂停适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。

详细说明如下:

  • 任务暂停后,实例正常生成(每日凌晨生成实例),生成所有实例的状态均为暂停。暂停任务适用于任务节点及其下游节点暂时不需要调度,但是任务暂时不需要下线的场景。

  • 恢复任务后任务调度配置部分的暂停调度变成正常调度;对于某个暂停调度的任务,如果有部分实例需要运行,您就可以手动将实例恢复至正常调度状态。

页面介绍

请参见入口介绍,进入周期任务页面。周期任务运维列表页面包括脚本任务、逻辑表任务和萃取任务。

周期任务页面以列表和DAG图的方式,为您展示已提交的周期任务。列表为您展示周期任务支持的运维管理操作,包括快速查看脚本任务、逻辑表任务和萃取任务的信息、快捷单节点运维操作和批量运维操作。DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:

  • 周期任务列表

    周期任务列表页面展示当前业务类型的任务对象、调度周期、 优先级、 负责人、 相关基线、 资源组 、 最近更新时间及支持的操作。1

    操作

    描述

    筛选

    在上图的模块①区域,您可以通过筛选条件过滤需要查询的任务。

    筛选项包括:

    • 我的任务:运维负责人为当前操作账号的任务。

    • 已暂停任务:调度属性为暂停调度的任务。

    • 空跑调度任务:调度属性为空跑调度的务任。

    • 业务类型:取项目(Data_disitll)支持选择脚本任务和萃取任务。非Data_distill项目支持选择脚本任务、逻辑表任务。

    • 细分类型

      • 业务类型选择为脚本任务时,细分类型包括MAX_COMPUTE_SQL、MAX_COMPUTE_MR、SPARK_JAR_ON_MAX_COMPUTE、SHELL、 PYTHON、DATAX、DLINK、VIRTUAL、FLINK_SQL、FLINK_TEMPLATE_SQL。

      • 业务类型选择为明细及汇总表任务时,细分类型包括维度逻辑表、事实逻辑表和汇总逻辑表。

      • 业务类型选择为萃取任务时,细分类型包括标签节点、规则节点、萃取系统节点和标签逻辑表。

    • 调度周期:任务的调度周期,包括分钟、小时、日、周、月和年。

    • 负责人:运维对象的负责人。

    • 优先级:任务运行的优先级。

    • 是否暂停:当前任务是否暂停调度。

    如果您需要重新选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。

    DAG图

    单击操作列下的test图标或单击任务对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:

    • 单击tegtwe图标,隐藏周期任务列表,放大DAG图。

    • 单击geg图标,隐藏DAG图。

    • 您也可以将鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。

    单任务运维

    上图②区域,支持查看生产节点、查看节点代码、查看补数据实例、补数据、修改负责人、修改优先级、暂停、恢复、配置监控报警的功能。

    批量任务运维

    上图③区域,支持批量选中多个任务(或快捷本页全选)进行运维管理,包括暂停、恢复、修改负责人、修改优先级。

  • 周期任务DAG图teta

    编号

    描述

    展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息,包括节点详情、操作日志和节点代码(物化代码)。

    说明

    逻辑表任务节点支持查看物化代码。脚本任务和逻辑表任务支持查看节点代码。

    展示任务的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。

    • 脚本任务的展示及操作说明,详情请参见DAG图

    • 逻辑表任务的展示及操作说明,详情请参见DAG图

    • 萃取任务的展示及操作说明,详情请参见DAG图

    快捷设置以main节点为中心向上向下展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。

    快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。

    同时,展示当前DAG图中main节点的节点ID和节点名称。

阿里云首页 智能数据构建与管理 Dataphin 相关技术圈