逻辑表和字段详情

本文为您介绍如何查看逻辑表和字段资产详情。

使用限制

当计算引擎为Impala时,不支持查看逻辑表的资产详情。

逻辑表详情入口

  1. Dataphin首页,在顶部菜单栏选择治理 > 资产清单

  2. 单击页签,您可以根据表类型筛选维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表。

  3. 在逻辑表列表中,单击目标逻辑表的名称或操作列下的image图标,进入对象详情页面。

逻辑表详情

不同逻辑表展示的信息可能有所差异,具体以实际页面为准,下图以维度逻辑表为例。

逻辑表包括维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表。

image

区域

描述

概要信息

为您展示表的类型、环境、名称、标签、描述等信息。同时,您还可以执行如下操作:

  • 搜索其他资产对象:您可以快捷搜索并切换查看其他资产的详情。

  • 查看资产详情:如果当前对象已上架到资产目录,您可以快捷跳转至目录详情页查看已上架信息。

  • 查看生产/开发对象:支持快速切换当前对象在对应生产/开发环境的对象详情。

  • 标签:为您展示当前资产已配置的标签值。如需修改标签,您可以单击编辑

    • 每个标签值的长度不超过128个字符。

    • 每个资产对象最多可配置20个标签值。

    • 超级管理员可以修改所有表类型的资产标签,当前表负责人可以修改自己是表负责人的资产标签;板块架构师支持修改所负责板块下的逻辑表的资产标签。

  • 收藏:单击即可收藏或取消收藏。收藏后,您可以在资产清单列表-我的足迹查看最近收藏的30条资产,方便后续查询;您也可以在个人数据中心查看全量收藏的资产,详情请参见查看及管理我收藏的资产

  • 去分析:单击跳转至Notebook页面自动创建对应的Notebook任务,详情请参见新建Notebook

  • 申请权限:单击快捷跳转到当前表的权限申请页面,详情请参见申请、续期和交还表权限

  • 反馈质量问题:您可以通过该功能向当前质量负责人反馈在使用资产过程中遇到的质量问题(如数据产出不稳定、数据内容不准确等),以通知相关负责人及时进行整改,从而推动提升资产可用性和健康度。配置详情请参见添加并管理问题清单

    您需要开通数据质量模块才能使用反馈质量问题功能。后续,您可以在质量模块的问题清单中查看反馈问题的处理流程和结果。

  • 生成select语句:单击右上角的更多,选择生成select语句,单击生成当前表查询语句,可选择是否需要添加转义符。您可以复制查询语句后到即席查询或分析页面查询数据。

  • 查看DDL语句:单击右上角的更多,选择查看DDL语句,逻辑表不支持DDL操作,此处为您展示与逻辑表的表结构相同的物理表对应的DDL语句,可用于快速在目标数据源创建目标表以同步数据等场景。此外,您也可以选择数据源类型,单击生成DDL语句,系统将生成在指定类型的数据源系统中创建与当前表相同结构的表DDL语句。若您选中了自动添加转义符,生成的DDL语句将根据选择的源类型自动添加对应的转义符,减少系统关键词误转义等问题产生。

    image

  • 编辑表:单击右上角的更多,选择编辑表,支持跳转至研发-表管理页面,编辑该表的DDL信息,详情请参见新建离线物理表

  • 导出字段:单击右上角的更多,选择导出字段,导出表中的字段信息,格式类型为CSV,便于其他开发或业务人员快速分析使用。

  • 查看转交记录:单击右上角的更多,选择查看转交记录,为您展示当前数据表最近100条负责人转交记录。

  • 查看权限列表:单击右上角的更多,选择查看权限列表,查看数据表权限信息。

  • 刷新元数据:单击右上角的更多,选择刷新元数据,若数据表不是通过Dataphin平台创建,或由于系统元数据获取延迟导致查询新建表无结果时,您可以单击刷新元数据获取最新的元数据信息,将指定的数据表元数据刷新至Dataphin系统中。 

说明

分析平台表不支持去分析、申请权限、反馈质量问题、编辑表、查看转交记录、查看权限列表操作。

明细信息

  • 为您展示表、字段和分区信息。

    • 表详情:为您展示该表的属性信息,包括数据板块、主题域、项目、最高涉密等级、是否分区表、是否分析平台手工表、存储格式、存储量、生命周期。

      • 项目:当前表归属的项目信息,单击项目的名称,可跳转至该项目的资产详情页。

      • 最高涉密等级:当前表字段已有的最高敏感等级,便于快速了解当前表数据的数据保密情况,数据分级等级从低到高为L1、L2、L3、L4(公开到绝密)及自定义的数据分级。

      • 存储量:当前表实际存储大小,T+1更新。

      • 生命周期:当前表的保存时间,单位为天。

    • 字段信息:包括字段详情、描述、数据类型、关联标准(需购买数据标准模块)、数据分类(需购买安全模块)、数据分级(需购买安全模块)、热度信息,同时,您可以单击操作列下的血缘关系image图标,查看以指定字段为中心的字段血缘关系。

      说明

      当计算引擎为StarRocks时,支持分布键信息。

    • 分区信息:可查看数据表的分区信息。

      • 字段:选择需要查看的字段以及对应的日期区间,为您展示距离选中结束日期过去30个分区的数据。

      • 字段分区详情:深色代表字段在对应分区有记录,浅色代表字段在对应分区无记录。

        image

血缘&影响

  • 血缘为您展示表、字段之间的血缘关系。

    • 表级血缘来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务,详情请参见表级血缘

    • 字段血缘来源包括自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务,不包括集成同步任务,详情请参见字段级血缘

      说明

      系统在任务提交时,解析开发环境的表和字段血缘关系;发布时,解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系,超过则不予记录,在资产目录中无法展示。

  • 影响分为数据表影响和集成同步影响。

    • 数据表影响:为您展示引用当前表的直接下游表,以及引用直接下游表的间接下游表。支持导出数据、仅展示直接下游表操作。

      • 导出数据:支持导出Excel,便于业务人员浏览。

      • 仅展示直接下游表:选中后默认展示当前表直接影响的下游表,取消选中将展现所有下游影响表,最多展示15层(从当前表的直接下游开始为第一级)。

    • 集成同步影响:为您展示当前表及下游表作为来源表的集成同步任务。支持导出数据、仅展示当前表影响操作。

      • 导出数据:支持导出Excel,便于业务人员浏览。

      • 仅展示当前表影响:选中后默认展示当前表作为输入表的集成任务,取消选中将展现当前及所有下游影响表作为输入表的集成任务,最多展示15层(从当前表的直接下游开始为第一级)。

质量概况

若您开通了数据质量功能,为您展示当前数据表的规则校验概览和质量监控规则列表,单击查看报告详情按钮或查看规则详情按钮,可快捷跳转到数据质量模块对应页面查看更多详情。

image

说明

分析平台表不支持查看质量概况。

数据探查

若您开通了数据质量功能,可以为数据表配置数据探查任务,快速了解数据概况,提前评估数据的可用性和潜在风险,如果您需要开启自动探查,可以在元数据中心-探查配置中开启相应配置,详情请参见新建数据探查任务

数据预览

若您拥有当前表的查表数据权限,可以使用数据预览功能,否则需先申请查询权限。如何申请,请参见申请、续期和交还表权限

说明

数据预览为您展示20条抽样查询数据。

  • 当计算引擎为Impala且数据表的存储类型为Kudu时,默认使用Impala SQL进行查询。

  • 当计算引擎为StarRocks时,数据预览为您展示前50条查询数据,不包含分区信息。若字段类型为HLL(HyperLoglog)时,暂无法为您展示该字段的信息预览。

  • 当计算引擎为E-MapReduce3.x、E-MapReduce5.x 、CDH5.x、CDH6.x、FusionInsight 8.x、Cloudera Data Platform 7.x、亚信DP5.3时,若在Hadoop计算源配置页面开启Impala加速引擎,则使用Impala运行SQL;若开启Spark加速引擎,则使用Spark运行SQL;两者均不开启,则使用Hive SQL运行。

产出信息

产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的任务,以及节点输出名称=项目名.表名的任务。

产出任务列表准实时更新,产出明细T+1更新。

image.png

  • ①查看产出明细:仅支持查看周期任务的产出明细,详情请参见产出明细

  • ②去运维:单击去运维按钮,可跳转至运维中心的任务列表页面并筛选出当前任务,查看更多信息。

使用说明

您可以为数据表添加使用说明,为数据浏览者和消费者提供信息参考。可单击新增使用说明,填写使用说明标题及内容完成添加。image

资产信息

为您展示物理表的基础信息变更信息使用信息等详细信息。

  • 基础信息:包括环境、表类型、创建时间、创建人、负责人、产出任务。

    • 负责人: 当前表的负责人,支持转交当前表的负责人给其他用户,在转交负责人对话框中,您可以选择是否同步转交开发/生产环境表,选择接收人后,单击确定即可立即转出,建议在转交后及时同步接收人。您可以在转交记录页面查看转交信息,详情请参见查看转交记录

      说明
      • 超级管理员可转交所有表类型的负责人,当前表负责人可转交自己是负责人的表。

      • 板块架构师支持转交所负责板块下的逻辑表的负责人。

      • 特殊情况下,若汇总逻辑表初始没有负责人,则超级管理员和板块管理员可以修改负责人。

    • 产出任务:您可查看当前表产出任务,包含该对象的数据写入任务、血缘解析或配置以当前表为输出表的任务,以及节点输出名称 = 项目名.表名的任务。单击产出任务的名称,跳转至该数据表的运维详情页。

      说明

      仅支持查看周期任务的产出明细。

  • 变更信息:包括数据变更、最近访问、DDL变更。

    • 数据变更:Dataphin基于SQL解析到的最近1次表内容变更时间(对应DML操作),外部系统触发的变更不统计,实时更新。

    • 最近访问:Dataphin基于SQL解析到的最近1select时间(对应DQL操作),外部系统触发的访问不统计,实时更新。

    • DDL变更:Dataphin基于SQL解析到的最近1次表结构变更时间(对应DDL操作),外部系统触发的变更不统计,实时更新。

  • 使用信息:包括收藏数、浏览量、访问次数。

    • 收藏数:为您展示收藏当前表的用户数,实时更新。

    • 浏览量:为您展示当前数据表的访问页次(PV),每刷新1次增加1次,实时更新。

    • 访问次数:基于SQL解析到该表在Dataphin任务中被select时(对应DQL操作),计算为1次,T+1更新,展示最近30天的总访问次数。

字段详情

为您展示当前字段所在数据表的表详情,详情请参见逻辑表详情