周期任务通用运维概述

周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的集成和计算任务、建模(维度逻辑表、事实逻辑表、汇总逻辑表)任务的通用功能,包括使用说明,支持的调度类型和相关功能说明。

使用说明

仅生产环境运维中心支持自动调度生成的周期实例,开发环境运维中心虽会生成自动调度的周期实例,但不支持自动调度。

周期任务页面入口

  1. Dataphin首页的顶部菜单栏中,选择研发 > 任务运维

  2. 在左侧导航栏中选择任务运维 > 周期任务

  3. 在顶部菜单栏选择生产或开发环境。

周期任务页面介绍

周期任务页面主要展示集成和计算任务列表以及建模任务列表,您可在对应页签下进行相关的运维操作。

image

区块

说明

筛选及搜索区

可输入节点ID或任务对象名称来筛选周期任务,同时支持选中我的任务已暂停任务空跑调度任务进行快捷筛选。

  • 我的任务:当前登录账号的任务。

  • 已暂停任务:当前项目内调度属性为暂停调度的任务。

  • 空跑调度任务:当前项目内调度属性为空跑调度的任务。

您可单击筛选,展开筛选区,进行详细筛选,支持的筛选项包括:

  • 任务类型:Data_disitll项目支持选择脚本任务,非Data_disitll支持选择集成和计算任务以及建模任务

    • 集成和计算任务:不同计算引擎支持的脚本任务不同,具体以页面显示为准。

    • 建模任务维度逻辑表、事实逻辑表、汇总逻辑表。

  • 调度方式支持正常调度、空跑调度、暂停调度筛选。更多信息,请参见调度方式说明

  • 优先级:支持最高、高、中、低、最低实例的运行优先级进行筛选。

    说明

    若已开通基线功能,任务优先级仅支持中等、低、最低。

  • 项目:根据任务所在项目进行筛选,可选择多个当前登录用户拥有运维-访问目录权限的项目。

  • 运维负责人:可根据周期任务的运维负责人进行筛选。

  • 调度周期:支持分钟、小时、日、周、月、年共6种调度周期筛选。

  • 更新时间:可根据周期任务更新日期的某一天或区间进行筛选。

  • 调度资源组:可根据周期任务配置的调度资源组进行筛选。

    说明

    仅集成和计算任务支持此筛选项。

如果您需要重新筛选,则可单击重置,即可快速清空所有筛选条件,恢复系统默认。

周期任务列表区

周期任务页面以列表形式,展示当前用户拥有运维-访问目录权限的项目下所有的周期任务,分为集成和计算任务以及建模任务,列表操作栏为您展示周期任务支持的运维管理操作。各周期任务类型支持的运维操作详情如下:

批量操作区

您可通过批量操作区域提供的批量操作功能,对周期任务进行批量处理,提高操作效率。

调度方式说明

标识

调度状态

描述

正常调度

按照配置的调度周期和起调时间,并正常执行。

image

空跑调度

按照调度周期的时间配置调度,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。

image

暂停调度

暂停调度的任务生成的实例均为暂停调度状态,可通过恢复操作使实例恢复运行。暂停适用于有些任务及其下游任务暂时不需要运行,后面还会继续使用的场景,例如临时调整一些计算口径,防止影响下游数据。

详细说明如下:

  • 任务暂停后,实例正常生成(每日凌晨生成实例),生成所有实例的状态均为暂停。暂停任务适用于任务节点及其下游节点暂时不需要调度,但是任务暂时不需要下线的场景。

  • 恢复任务后任务调度配置部分的暂停调度变成正常调度;对于某个暂停调度的任务,如果有部分实例需要运行,您就可以手动将实例恢复至正常调度状态

周期任务DAG

单击周期任务操作列表任务对象名称,页面右侧为您展示以当前节点为中心节点的DAG图。DAG图支持可视化动态呈现该节点的上下游依赖关系,默认展示Main节点(选中节点)及上下游第一层节点。如果周期任务没有上下游节点,则DAG图仅展示当前Main节点。同时系统支持对上下游节点进行运维和管理。

同时,您也可以调整DAG图页面范围:

  • 单击image图标,隐藏实时实例列表,放大DAG图。

  • 单击image图标,隐藏DAG图。

  • 鼠标悬停至image图标拖动,以扩大或缩小DAG图的页面范围。

以下以周期脚本任务为例:

image

区块

说明

节点信息

展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息。

  • 任务概览:展示当前节点的名称、ID、节点类型、所属项目/数据板块等基础信息。

  • 操作日志:展示操作时间、操作任和对应操作。

  • 节点代码/物化代码:展示当前节点的代码,可查看生产环境中此节点的所有版本,单击image图标可进行版本对比;单击image图标可查看版本信息,包含版本创建时间和修改人。

  • 任务参数:展示当前节点任务的参数。

集成和计算任务节点:包括任务概览、操作日志、节点代码。

建模任务节点:包括任务概览、操作日志、物化代码。

实时任务:包括节点详情、操作日志、节点代码、任务参数。

节点筛选区

快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,您可以搜索节点ID或名称以快速定位当前DAG图展示范围内的某个节点。

调度依赖关系图

展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。

画布调整区

快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。同时,展示当前DAG图中Main节点的节点ID和节点名称。