周期实例通用运维概述

周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次,便生成一个实例。同时,可以对已生成的实例进行运维管理,例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。

周期实例生成时间及运行规则

Dataphin每晚23点生成次日需要运行的周期实例,生成的实例默认是未运行状态。

  • 周期实例依赖的上游实例全部运行成功后,周期实例的状态从未运行变成等待调度时间

  • 当到达当前实例的定时运行时间,且Dataphin剩余可用调度资源充足、并通过所有命中的限流规则校验后,周期实例的状态会从等待调度时间变成运行中

    说明

    暂停实例即暂停当前周期实例的运行,不影响该任务其他周期生成的实例运行。如果需要暂停多个周期实例的运行,可以将该任务的调度属性修改为暂停调度,详情请参见查看并管理脚本任务

周期实例页面入口

  1. 在Dataphin首页,单击顶部菜单栏的研发。默认进入数据开发页面。

  2. 按照下图操作指引,进入周期实例页面

    image.png

周期实例页面介绍

周期实例页面主要由搜索及筛选区、筛选区、周期实例列表、批量操作区组成可以在周期实例页面对提交的周期实例进行相关的运维操作。

image.png

区域

描述

搜索及筛选区

支持通过输入节点ID或节点名称来筛选周期实例,适用于知晓节点ID或节点名称时进行快捷筛选出所需的周期实例。

同时支持勾选我的实例、失败实例、未完成实例或通过业务日期进行快捷筛选。

  • 我的实例:当前登录账号所负责的所有实例。

  • 失败实例:当前项目内所有的失败实例。

  • 未完成实例:当前项目内所有未完成实例。

  • 业务日期:支持选择今天昨天全部具体到某一天或某一业务时间区间

    image

筛选区

单击image按钮,可展开筛选区。支持筛选项包括:

  • 实例类型:支持选择脚本实例类型或明细及汇总表实例类型。

  • 细分类型:根据所选业务类型不同,所支持的细分类型如下:

    • 脚本实例类型:所绑定的计算源类型不同,所支持的细分类型不同,具体以页面显示为准

    • 明细及汇总表实例类型:支持维度逻辑表、事实逻辑表、汇总逻辑表。

  • 运作状态:支持成功失败运行中等待调度时间限流中等待调度资源未运行共7种运行状态筛选。各状态标识及详情,请参见周期实例运行状态说明

  • 调度周期:支持分钟小时共6种调度周期筛选。

  • 开始运行时间:可根据周期实例的开始运行时间进行筛选。支持选择最近一小时今天昨天具体到某一天或某一业务时间区间(精确到秒)

  • 定时时间:可根据周期实例的定时运行时间进行筛选。支持选择0~6点6~12点12~18点某时段区间(精确到秒)

  • 运维负责人:可根据实例运维负责人进行筛选。

  • 优先级:支持最高中等最低共5种实例的运行优先级进行筛选。

    说明

    若已开通基线功能,任务优先级仅支持中等、低、最低。

  • 运行方式:可根据实例运行方式进行筛选。运行方式包括正常运行空跑运行暂停运行

  • 结束时间:可根据实例结束运行时间进行筛选。支持选择最近一小时今天昨天具体到某一天或某一业务时间区间(精确到秒)。

  • 运行时长:可根据实例开始运行到运行结束的总时间或区间进行筛选。

如果需要重新筛选,则可单击重置,即可快速清空所有筛选条件,恢复系统默认。

周期实例列表区

周期实例页面以列表形式展示系统已生成的周期实例。列表操作栏展示周期实例支持的运维管理操作,各周期实例类型所支持的运维操作详情如下:

批量操作区

可通过批量操作区域提供的重跑、终止、置成功继续调度、暂停、恢复、修改调度资源组功能,对周期实例进行批量处理,提高操作效率。

周期实例提示标记说明

标记

提示

描述

image

延迟

已开启数据延迟的事件事实逻辑表,在周期实例运行成功后, Dataphin检测到数据延迟时, 将提示该标记。

image

空跑

该周期实例任务的调度属性设置为空跑调度。

image

暂停

该周期实例任务的调度属性设置为暂停调度。

周期实例运行状态说明

状态标识

运行状态

描述

test

未运行

未开始运行的实例。

test

等待调度资源

依赖的所有上游节点已经运行成功,等待调度资源。

test

限流中

限流中的实例。

test

等待调度时间

依赖的所有上游节点已经运行成功,等待到达调度时间。

test

运行中

正在运行中的实例。

test

失败

运行失败的实例。

如果终止等待中或运行中状态的实例,则实例状态变更为失败。

test

成功

运行成功的实例。

空跑调度的实例系统会直接标记为运行成功。

周期实例DAG图

单击周期实例操作列表的实例对象名称,页面右侧将展示以当前节点为中心节点的DAG图。DAG图支持可视化动态呈现该节点的上下游依赖关系,默认展示Main节点(选中节点)及上下游第一层节点。如果实时实例没有上下游节点,则DAG图仅展示当前Main节点。同时系统支持对上下游节点进行运维和管理。

支持调整DAG图页面范围:

image.png

  • 单击tegtwe图标,隐藏实时实例列表,放大DAG图。

  • 单击geg图标,隐藏DAG图。

  • 鼠标悬停至teaga图标拖动,以扩大或缩小DAG图的页面范围。

明细及汇总表DAG图与脚本实例DAG图界面信息相同,下图以周期脚本为例:

image.png

区域

描述

节点信息

展示当前选中节点的概要信息。单击查看节点详情,可以查看更多节点信息,包括实例概率、运行诊断、运行日志、操作日志、节点代码和任务参数等。

脚本实例:包括实例概览、运行诊断、运行日志、操作日志、节点代码。

明细及汇总表实例:包括实例概览、运行诊断、运行日志、操作日志、物化代码。

节点筛选区

快捷设置以Main节点为中心向上向下的展开层级。当展开节点较多不便查看时,可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。

调度依赖关系图

展示实例的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。

画布调整区

快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。同时,展示当前DAG图中Main节点的节点ID和节点名称。

实例对象列表

查看DAG图时,实例对象列表将展示实例对象的名称和业务日期。鼠标指针至实例对象,将展示当前对象的节点名、节点ID、调度周期、业务日期、定时运行时间。如下图所示:image.png