管理业务系统元数据

业务系统元数据以列表形式为您展示采集到的元数据信息,您可以从不同视角出发查询数据。本文为您介绍如何管理业务系统元数据。

权限说明

超级管理员、系统管理员和具有业务系统元数据管理权限的自定义全局角色支持管理业务系统元数据、查看元数据详情。

管理业务系统元数据列表

  1. 在Dataphin首页的顶部菜单栏,选择治理 > 元数据

  2. 在左侧导航栏选择元数据管理 > 业务系统元数据,进入业务系统元数据页面。

  3. 业务系统元数据页面,您可以从全部元数据、数据源、业务系统视角查看元数据信息。

    • 当定位在全部元数据时,为您展示元数据的名称、描述、采集数据源和数据源编码、归属业务系统、元数据类型、最新版本、采集任务、更新频率信息。

    • 当指定某一个数据源时,将为您展示元数据的名称、Schema、描述、元数据类型、最新版本信息,您可以单击列表标题后的查看详情或数据源后的查看详情,查看该数据源对应的采集任务信息,包括数据源名称、数据源编码、采集任务、更新频率、归属业务系统。

    • 当指定某一个业务系统时,将为您展示元数据的名称、采集数据源和数据源编码、元数据类型、最新版本、采集任务、更新频率信息,您可以单击列表标题后的查看详情或业务系统后的查看详情,查看该业务系统的配置信息,包括业务系统名称、描述、运营人员、系统对接人。

  4. (可选)左侧目录树支持切换不同视角检索元数据,或在右上角搜索、筛选目标元数据。

    • 目录树

      • 数据源视角:按照采集配置的来源数据源查看元数据。在该视角下,为您展示数据源类型和数据源的目录树,您可以展开数据源类型,选择某一个目录后右侧列表会自动筛选出归属当前目录的元数据。

      • 业务系统视角:按照数据归属的业务系统查看元数据。您可以选择某一个业务系统后,右侧列表会自动筛选出归属当前业务系统的元数据。

    • 搜索与筛选:您可以根据元数据的名称或描述进行模糊搜索,或快捷筛选已删除数据,或根据来源数据源、Schema、业务系统、元数据类型进行筛选,或从不同视角筛选元数据。

      • 数据源视角可以根据Schema(MySQL、AnalyticDB for MySQL 3.0、PolarDB-X(原DRDS)、Hive、StarRocks数据源不支持该筛选项)、元数据类型进行筛选。

      • 业务系统视角可以根据来源数据源、Schema、元数据类型进行筛选。

    • 全部元数据:您可以单击全部元数据,查看全量元数据。

  5. 您可以对目标元数据对象执行如下操作。

    操作项

    描述

    查看元数据

    您可以单击采集数据源的名称,系统会切换至数据源视角并定位至该数据源;若单击归属业务系统的名称,系统会切换至业务系统视角并定位至该业务系统。

    查看采集任务

    您可以单击采集任务的名称,查看该对象的采集任务配置信息。

    查看元数据详情

    您可以单击元数据的名称或操作列下的查看图标,跳转至元数据详情页,详情请参见查看元数据详情

    查看版本详情

    您可以单击操作列下的版本管理图标,跳转至元数据详情的版本管理页签,详情请参见版本管理

    删除

    若源系统数据未删除,下一次采集后该数据仍会重新展示。

查看元数据详情

  1. 单击目标元数据操作列下的查看图标,进入元数据详情页面。

  2. 元数据详情页面,为您展示元数据的基本信息、表详情、字段详情、版本管理。

    • 基本信息:为您展示元数据的名称、数据源类型、数据源及数据源编码、所属Schema/所属Database/所属MaxCompute项目、元数据类型、采集任务信息。

      • 查看采集任务:点击采集任务的名称,支持跳转至采集任务列表页面自动筛选出对应的采集任务。

        说明
        • 当数据源为Oracle、PostgreSQL、Microsoft SQLServer、SAP HANA、IBM DB2、Hologres时展示所属Schema信息。

        • 当数据源为MySQL、AnalyticDB for MySQL 3.0、PolarDB-X(原DRDS)、Hive、StarRocks时,展示所属Database信息。

        • 仅当数据源为MaxCompute时,展示所属MaxCompute项目信息。

    • 表详情:为您展示表、视图的系统属性信息,包括业务属性和技术属性。

      • 业务属性:包括归属业务系统信息。

      • 技术属性

        • 关系型数据库:包括描述、表行数、存储类型(内部表、外部表)、存储量信息。

        • 大数据存储

          • Hologres:包括描述、是否分区表、分区父表名称(仅分区子表展示该信息)、分区条件(仅分区子表展示该信息)、分区子表数量(仅分区父表展示该信息)、表行数、存储类型(内部表、外部表)、存储格式、存储量、创建时间、最近更新时间、最近DDL更新时间、生命周期信息。

          • Hive:包括描述、是否分区表、表行数、存储类型(内部表、外部表)、存储格式、存储量、创建时间、最近DDL更新时间信息。

          • StarRocks:包括描述、表类型(仅内部表展示该信息)、物化视图类型(仅物化视图展示该信息)、是否失效(仅物化视图展示该信息)、是否分区表、表行数、存储类型(内部表、外部表)、存储格式、存储量、创建时间、最近更新时间信息。

        • 部分数据源针对不同的元数据类型的对象可获取的信息有差异,详情请参见元数据表属性

          说明
          • 当数据类型为关系型数据库且元数据类型为视图时,技术属性仅支持查看描述信息。

          • 当数据表为Oracle表时,存储量通过表行数和每行平均使用空间(单位为字节)进行估算,不包括索引、未使用的空间、碎片等信息的统计,统计值会低于实际占用的空间大小。

          • 若数据源表为分区表,表行数信息仅供参考;当前暂不支持采集分区表主表的表行数信息。

    • 字段详情:为您展示指定版本的字段的名称(主键字段用钥匙符号标识)、数据类型、描述、字段是否可为空及默认值信息。若当前表为分区表,可查看分区信息,其中,部分数据源展示的信息有差异,详情请参见元数据字段属性

      您可以根据字段的名称或描述进行搜索,也可以切换查看不同版本的字段详情。

    • 分区详情:当数据源类型为大数据存储且当前表为分区表时展示分区详情。多级分区将按照各级分区组合结果展示,不同分区之间用正斜线(/)连接。

      说明

      分区记录数和存储量信息仅供参考。

    • 版本管理:根据采集任务的采集策略配置和源系统数据变更情况,每次存储的业务系统元数据有变更时会生成新的版本。不同数据源生成元数据版本的说明,请参见元数据版本

      例如:数据更新策略配置添加新的元数据,更新已变更元数据忽略删除操作;则连续两次采集时,如果源系统没有新增或更新的数据,仅有被删除的数据时,就不会生成新的元数据版本。

      • 您可以根据版本的名称搜索版本。

      • 为您展示版本号、对比上一版本更新、表描述、版本生成时间信息。同时,您可以查看版本对比信息。

        • 对比上一版本更新:根据采集任务配置的采集策略,对比上一版本的业务系统元数据变更情况。

        • 版本对比:支持切换查看历史版本记录,为您展示基本信息、变更字段、全部字段。详情请参见版本对比

版本对比

您可以在版本对比页面,切换不同版本查看元数据是否有更新。

  • 版本选择:选择基准版本和对比版本,查看两个版本之间的元数据差异信息。

    • 基准版本:仅支持选择早于对比版本生成的历史版本。

    • 对比版本:仅支持选择晚于基准版本生成的新版本。

  • 基本信息:为您展示采集完成时间、执行方式及影响版本生成的表属性信息,请参见元数据版本

  • 变更字段:为您展示已选中的对比版本比较基准版本的差异项,包括变更字段的序号、字段名称、数据类型、是否可为空、默认值、描述、变更类型。

    例如,对比版本修改了字段的描述,则该字段的变更类型为更新。

  • 全部字段:为您分别展示基准版本和对比版本的全部字段信息,包括序号、字段名称、数据类型、是否可为空、默认值、描述。