通用功能说明
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍脚本任务、逻辑表任务和萃取任务的通用功能,包括背景信息、核心概念、支持的调度类型和相关功能说明。
背景信息
周期实例生成方式为T+1次日生成:
23:00之前提交发布的任务,次日即生成实例。
23:00之后提交发布的任务,第三天才会生成实例。如果该任务次日就需要启动运行,您可以通过补数据操作实现。
调度方式
调度方式 | 描述 |
正常调度 | 按照配置的调度周期和起调时间,并正常执行。 |
空跑调度 | 按照调度周期的时间配置调度,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。 |
暂停调度 | 暂停调度的任务生成的实例均为暂停调度状态,可通过恢复操作使实例恢复运行。暂停适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。 详细说明如下:
|
页面介绍
请参见入口介绍,进入周期任务页面。周期任务运维列表页面包括脚本任务、逻辑表任务和萃取任务。
周期任务页面以列表和DAG图的方式,为您展示已提交的周期任务。列表为您展示周期任务支持的运维管理操作,包括快速查看脚本任务、逻辑表任务和萃取任务的信息、快捷单节点运维操作和批量运维操作。DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:
周期任务列表
周期任务列表页面展示当前业务类型的任务对象、调度周期、 优先级、 负责人、 相关基线、 资源组 、 最近更新时间及支持的操作。
操作
描述
筛选
在上图的模块①区域,您可以通过筛选条件过滤需要查询的任务。
筛选项包括:
我的任务:运维负责人为当前操作账号的任务。
已暂停任务:调度属性为暂停调度的任务。
空跑调度任务:调度属性为空跑调度的务任。
业务类型:取项目(Data_disitll)支持选择脚本任务和萃取任务。非Data_distill项目支持选择脚本任务、逻辑表任务。
细分类型:
业务类型选择为脚本任务时,细分类型包括MAX_COMPUTE_SQL、MAX_COMPUTE_MR、SPARK_JAR_ON_MAX_COMPUTE、SHELL、 PYTHON、DATAX、DLINK、VIRTUAL、FLINK_SQL、FLINK_TEMPLATE_SQL。
业务类型选择为明细及汇总表任务时,细分类型包括维度逻辑表、事实逻辑表和汇总逻辑表。
业务类型选择为萃取任务时,细分类型包括标签节点、规则节点、萃取系统节点和标签逻辑表。
调度周期:任务的调度周期,包括分钟、小时、日、周、月和年。
负责人:运维对象的负责人。
优先级:任务运行的优先级。
是否暂停:当前任务是否暂停调度。
如果您需要重新选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。
DAG图
单击操作列下的
图标或单击任务对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:
单击
图标,隐藏周期任务列表,放大DAG图。
单击
图标,隐藏DAG图。
您也可以将鼠标悬停至
图标拖动,以扩大或缩小DAG图的页面范围。
单任务运维
上图②区域,支持查看生产节点、查看节点代码、查看补数据实例、补数据、修改负责人、修改优先级、暂停、恢复、配置监控报警的功能。
批量任务运维
上图③区域,支持批量选中多个任务(或快捷本页全选)进行运维管理,包括暂停、恢复、修改负责人、修改优先级。
周期任务DAG图
编号
描述
①
展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息,包括节点详情、操作日志和节点代码(物化代码)。
说明逻辑表任务节点支持查看物化代码。脚本任务和逻辑表任务支持查看节点代码。
②
展示任务的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。
③
快捷设置以main节点为中心向上向下展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。
④
快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。
同时,展示当前DAG图中main节点的节点ID和节点名称。