查看并管理明细汇总表任务

明细汇总表任务是Dataphin针对规范建模创建的逻辑表(维度逻辑表、事实逻辑表、汇总逻辑表)任务提供的字段视角运维功能,本文为您介绍如何查看并管理明细汇总表任务。

背景信息

  • 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总逻辑表任务。每个逻辑表任务对应一个逻辑表节点,系统会按照您设置的统计周期等参数自动进行调度配置,您可以从表视角或字段视角对需要运维的逻辑表任务进行操作。

说明

仅支持规范建模功能的项目可以查看逻辑表任务。

  • 明细汇总表任务按照规范建模的物化拆分逻辑自动生成多个物化节点。每个逻辑表节点即多个物化节点的组合,可能存在多个字段或明细汇总表任务节点归属于同一个物化节点。

使用说明

规范建模采用动态物化逻辑,因此可基于物理运维视角和逻辑运维视角进行运维管理:

  • 基于物理运维视角:您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个明细汇总表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。

  • 基于逻辑运维视角:您只需要选择需要运维的字段或逻辑表任务节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。

明细及汇总表页面入口

  1. 在Dataphin首页,单击顶部菜单栏的研发 > 任务运维

  2. 在顶部菜单栏选择项目(Dev-Prod模式需要选择环境),在左侧导航栏中选择任务运维 > 周期任务

  3. 周期任务页面,单击明细汇总逻辑表

    image

查看明细及汇总表任务列表

明细及汇总表任务提交到运维中心调度后,将在周期的明细及汇总表任务列表为您展示。周期任务明细及汇总表列表展示当前任务对象、调度周期、优先级、运维负责人、相关基线、最近更新时间及支持的操作。

image.png

字段

说明

任务对象

提交到运维中心的明细及汇总表周期任务。

调度周期

任务所属的调度周期。

优先级

任务所属的优先等级。

说明

汇总逻辑表的优先级展示的是该汇总表包含所有指标的优先级,因此可能有多个优先级。

运维负责人

该逻辑表任务的运维负责人。

说明

汇总逻辑表的运维负责人展示的是该汇总表包含所有指标的负责人,因此可能有多个责任人。

相关基线

展示作为末节点被保障的归属基线,以及作为上游节点被纳入保障范围的相关基线。

说明

若未开通基线功能,无该字段信息。

最近更新时间

任务最后一次的更新时间。

明细及汇总表任务列表支持的操作

操作

说明

DAG图

单击image可查看该明细及汇总表任务的DAG图。更多详情,请参见明细及汇总表任务DAG节点支持的操作

查看周期实例

查看某个任务运行生产的周期实例。同时,您也可以对周期实例进行运维和管理。

编辑开发节点

进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。

编辑节点

进入该任务的编辑页面,编辑该任务,仅适用于Basic模式。

查看生产节点

进入Prod项目中,查看该任务配置。

说明

Basic模式和Dev-Prod开发模式下未发布到生产环境中的任务不支持该功能。

字段及批量操作

进入字段及批量操作列表,并针对字段进行操作。系统支持的字段及批量操作包括查看生产链路、查看消费链路和补数据,更多信息,请参见管理明细及汇总表任务字段

查看生产链路

单击可查看该表的生产链路图信息。更多信息,请参见管理明细及汇总表任务字段

查看消费链路

单击可查看该表的消息链路图消息。更多信息,请参见管理明细及汇总表任务字段

查看物化代码

查看该逻辑表任务的物化代码。

查看补数据实例

查看并运维补数据操作生成的实例。

补数据

对逻辑表任务节点进行补数据操作,详情请参见附录:周期任务补数据

修改运维负责人

单击可修改逻辑表的运维负责人。

说明
  • 仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。

  • 明细表:修改该表的运维负责人,需要具备当前项目下运维操作权限。

  • 汇总表:批量修改该汇总表下指标的运维负责人,仅支持修改有对应项目下运维操作权限的指标,系统将自动过滤无对应的项目下运维操作权限的指标。

  • 对于明细表,修改父维度逻辑表则子维度逻辑表将自动修改为父维度的运维负责人。

修改优先级

非基线的逻辑表任务,单击可修改逻辑表的优先级。

说明
  • 仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。

  • 逻辑表基线任务以基线优先级为准,请通过基线调整。

  • 明细表:修改该表的优先级,需要具备当前项目下运维操作权限。

  • 汇总表:批量修改该汇总表下指标的优先级,仅支持修改有对应项目下运维操作权限的指标,系统将自动过滤无对应的项目下运维操作权限的指标。

  • 若当前租户已开通基线功能,任务优先级仅支持配置最低、低、中,配置仅对不在基线上的物化节点及其对应字段生效;更高优先级请通过基线配置。

  • 若您的计算引擎类型为MaxCompute,则Dataphin任务优先级与MaxCompute的作业优先级对应关系为最低(9)、低(7)、中等(5)、高(3)、最高(1)。关于MaxCompute作业优先级更多说明,请参见MaxCompute作业优先级

  • Spark SQL任务的优先级仅当Hadoop计算源的HDFS设置了不同任务优先级队列才可生效。

配置监控报警

支持配置任务运行的监控规则,详情请参见离线任务监控概述

说明
  • 仅适用于Prod和Basic项目。

  • 仅支持当前项目下具备任务监控配置权限的账号配置监控报警

明细及汇总表任务DAG节点支持的操作

DAG图清晰地为您展示任务节点的上下游依赖关系,同时系统支持对上下游节点进行运维和管理。DAG图默认展示Main节点(选中节点)及上下游第一层节点。选中明细及汇总表任务节点,您可以对任务进行相关的运维操作。

Dataphin支持跨项目节点的运维管理。对跨项目的明细及汇总表节点进行运维操作时,需要具备指标所在项目的查看及操作权限。汇总表任务仅支持对有权限的指标操作。

image.png

  • DAG图支持的操作

    操作

    说明

    DAG图节点操作

    展开父节点

    展开DAG图中Main节点不同层级的依赖节点。

    展开子节点

    展开物化节点

    展开当前逻辑表任务节点的物化节点,可以查看该逻辑表任务节点的物化节点名称、物化节点字段和物化代码。

    image

    查看操作日志

    查看当前节点的操作日志。

  • 明细及汇总表节点支持的操作

    明细及汇总表DAG节点支持的操作与明细及汇总表列表支持的操作相同。更多信息,请参见明细及汇总表任务列表支持的操作

    说明

    由于汇总表任务无归属项目,暂不支持在本项目内对跨项目的指标及其汇总表配置监控告警。

明细及汇总表任务支持的批量操作

明细及汇总表任务支持以下批量操作功能:

操作

说明

修改运维负责人

可批量修改明细及汇总表任务的运维负责人。

说明
  • 仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。

  • 批量修改选中表或指标的运维负责人,需要具备对应项目下的运维操作权限。

修改优先级

可批量修改明细及汇总表任务的优先级。

说明
  • 仅适用于Basic模式和Dev-Prod模式的Prod环境,Dev开发环境不支持修改。

  • 批量修改选中表或指标的优先级,需要具备对应项目下的运维操作权限。

  • 若当前租户已开通基线功能,任务优先级仅支持配置最低、低、中,配置仅对不在基线上的物化节点及其对应字段生效;更高优先级请通过基线配置。

  • 若您的计算引擎类型为MaxCompute,则Dataphin任务优先级与MaxCompute的作业优先级对应关系为最低(9)、低(7)、中等(5)、高(3)、最高(1)。关于MaxCompute作业优先级更多说明,请参见MaxCompute作业优先级

  • Spark SQL任务仅当Hadoop计算源的HDFS设置为不同任务优先级才可生效。