周期任务通用运维概述

周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表(维度逻辑表、事实逻辑表、汇总逻辑表)任务的通用功能,包括使用说明,支持的调度类型和相关功能说明。

使用说明

仅生产环境运维中心支持自动调度生成的周期实例,开发环境运维中心虽会生成自动调度的周期实例,但不支持自动调度。

周期任务页面入口

  1. 在Dataphin首页,单击顶部菜单栏的研发。默认进入数据开发页面。

  2. 按照以下操作指引,进入周期任务页面

    依次单击运维->周期任务。

    image.png

周期任务页面介绍

周期任务页面主要由搜索及筛选区、筛选区、周期任务列表、批量操作区组成您可以在周期任务页面对提交的周期任务进行相关的运维操作。

image.png

区域

描述

筛选及搜索区

快捷筛选支持通过输入节点ID或节点名称来筛选周期任务,适用于知晓节点ID或节点名称时进行快捷筛选出所需的周期任务。

同时支持勾选我的任务、已暂停任务、空跑调度任务进行快捷筛选。

  • 我的任务:当前登录账号的任务。

  • 已暂停任务:当前项目内调度属性为暂停调度的任务。

  • 空跑调度任务:当前项目内调度属性为空跑调度的任务。

筛选区

单击image,可展开粒度筛选区。支持筛选项包括:

  • 任务类型:Data_disitll项目支持选择脚本任务,非Data_disitll支持选择脚本任务和明细及汇总表任务。

    • 脚本:不同计算引擎支持得脚本任务不同,具体以页面显示为准。

    • 明细及汇总表维度逻辑表、事实逻辑表、汇总逻辑表。

  • 调度方式支持正常调度、空跑调度、暂停调度筛选。更多信息,请参见调度方式说明

  • 优先级:支持最高、高、中等、低、最低实例的运行优先级进行筛选。

    说明

    若已开通基线功能,任务优先级仅支持中等、低、最低。

  • 运维负责人:可根据周期任务的运维负责人进行筛选。

  • 调度周期:支持分钟、小时、日、周、月、年共6种调度周期筛选。

  • 更新时间:可根据周期任务更新日期的某一天或区间进行筛选。

  • 调度资源组:可根据周期任务配置的调度资源组进行筛选。

如果您需要重新筛选,则可单击重置,即可快速清空所有筛选条件,恢复系统默认。

周期任务列表区

周期任务页面以列表形式为您展示提交到运维中心的周期任务。列表操作栏为您展示周期任务支持的运维管理操作。各周期任务类型支持的运维操作详情如下:

批量操作区

您可通过批量操作区域提供的批量操作功能,批量对周期任务进行批量处理,提高操作效率。

调度方式说明

标识

调度状态

描述

正常调度

按照配置的调度周期和起调时间,并正常执行。

image

空跑调度

按照调度周期的时间配置调度,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。

image

暂停调度

暂停调度的任务生成的实例均为暂停调度状态,可通过恢复操作使实例恢复运行。暂停适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。

详细说明如下:

  • 任务暂停后,实例正常生成(每日凌晨生成实例),生成所有实例的状态均为暂停。暂停任务适用于任务节点及其下游节点暂时不需要调度,但是任务暂时不需要下线的场景。

  • 恢复任务后任务调度配置部分的暂停调度变成正常调度;对于某个暂停调度的任务,如果有部分实例需要运行,您就可以手动将实例恢复至正常调度状态

周期任务DAG图

单击周期任务操作列表任务对象名称,页面右侧为您展示以当前节点为中心节点的DAG图。DAG图支持可视化动态呈现该节点的上下游依赖关系,默认展示Main节点(选中节点)及上下游第一层节点。如果周期任务没有上下游节点,则DAG图仅展示当前Main节点。同时系统支持对上下游节点进行运维和管理。

同时,您也可以调整DAG图页面范围:

  • 单击tegtwe图标,隐藏实时实例列表,放大DAG图。

  • 单击geg图标,隐藏DAG图。

  • 鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。

以下以周期脚本任务为例:

image.png

区域

描述

节点信息

展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息。

  • 脚本节点任务:包括任务概览、操作日志、节点代码。

  • 明细及汇总表:包括任务概览、操作日志、物化代码。

  • 实时任务:包括节点详情、操作日志、节点代码、任务参数、模板信息。

节点筛选区

快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点ID或名称以快速定位当前DAG图展示范围内的某个节点。

调度依赖关系图

展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。

画布调整区

快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。同时,展示当前DAG图中Main节点的节点ID和节点名称。