元数据清单以列表形式为您展示采集到的元数据信息,您可以从不同视角出发查询数据。本文为您介绍如何管理元数据清单。
权限说明
超级管理员、系统管理员和具有元数据清单-查看权限的自定义全局角色支持管理元数据清单、查看元数据详情。
使用限制
PolarDB-X(原DRDS)数据源1.0版本不支持采集视图信息。
管理元数据清单列表
在Dataphin首页的顶部菜单栏,选择治理 > 元数据。
在左侧导航栏选择元数据管理 > 元数据清单,进入元数据清单页面。
在元数据清单页面,您可以单击数据表页签或仪表板页签,查看不同对象的元数据信息,特殊的,仪表板为您展示指定应用系统下的仪表板元数据,您可以通过页面右上角的应用系统切换查看不同系统下的数据。
数据表:您可以从全部元数据、数据源、来源系统视角查看元数据信息。
当定位在全部元数据时,为您展示元数据的名称、描述、采集数据源和数据源编码、来源系统、元数据类型、最新版本、采集任务以及更新频率信息。
当指定某一个数据源时,将为您展示元数据的名称、Database/Schema、描述、元数据类型、最新版本信息,您可以单击列表标题后的查看详情或数据源后的查看详情,查看该数据源对应的采集任务信息,包括数据源名称、数据源编码、采集任务、更新频率、来源系统。
当指定某一个来源系统时,将为您展示元数据的名称、采集数据源和数据源编码、元数据类型、最新版本、采集任务、更新频率信息,您可以单击列表标题后的查看详情或来源系统后的查看详情,查看该来源系统的配置信息,包括来源系统名称、系统类型、描述、运营人员、系统对接人。
仪表板:仅采集到仪表板元数据时支持查看。您可以从全部仪表板和工作空间/目录视角查看元数据信息。
(可选)左侧目录树根据不同的对象支持不同的筛选方式。
数据表对象:支持切换不同视角检索元数据,或在右上角搜索、筛选目标元数据。
数据源视角:按照采集配置的来源数据源查看元数据。在该视角下,为您展示数据源类型和数据源的目录树,您可以展开数据源类型,选择某一个目录后右侧列表会自动筛选出归属当前目录的元数据。
来源系统视角:按照数据归属的来源系统查看元数据。您可以选择某一个来源系统后,右侧列表会自动筛选出归属当前来源系统的元数据。
搜索与筛选:您可以根据元数据的名称或描述进行模糊搜索,或快捷筛选已删除数据,或根据来源数据源、DB/Schema、来源系统、元数据类型进行筛选,或从不同视角筛选元数据。
数据源视角可以根据DB/Schema、元数据类型进行筛选。
来源系统视角可以根据来源数据源、DB/Schema、元数据类型进行筛选。
全部元数据:您可以单击全部元数据,查看全量元数据。
仪表板对象:支持根据全部仪表板或工作空间视角检索元数据,或在右上角搜索、筛选目标元数据。
工作空间视角:按照采集配置的来源应用系统查看元数据。您可以选择某一个工作空间后,右侧列表会自动筛选出归属当前工作空间的仪表板。
全部仪表板:您可以单击全部仪表板,查看指定应用系统下的全量元数据。
搜索与筛选:您可以根据仪表板的名称或描述进行模糊搜索,或根据所属工作空间/目录(仅定位在全部仪表板时支持该筛选条件)、来源数据集进行筛选。
您可以对目标元数据对象执行如下操作。
操作项
描述
查看元数据
仅当资产对象为数据表时支持操作。您可以单击采集数据源的名称,系统会切换至数据源视角并定位至该数据源;若单击归属来源系统的名称,系统会切换至来源系统视角并定位至该来源系统。
查看采集任务
仅当资产对象为数据表时支持操作。您可以单击采集任务的名称,查看该对象的采集任务配置信息;仪表板对象可单击应用系统后面的详情图标快速跳转查看对应的采集任务。
查看元数据详情
您可以单击元数据的名称或操作列下的查看图标,跳转至元数据详情页,详情请参见查看元数据详情。
查看版本详情
仅当资产对象为数据表且元数据 > 元数据变更记录的数据源表配置开启时支持操作。您可以单击操作列下的版本管理图标,跳转至元数据详情的版本管理页签,查看不同版本之间的信息,详情请参见版本管理。
删除
若源系统数据未删除,下一次采集后该数据仍会重新展示。
查看元数据详情
单击目标元数据的名称或操作列下的查看图标,进入元数据详情页面。
在元数据详情页面,针对不同的资产对象所展示的元数据信息有所差异。
数据表
为您展示元数据的基本信息、表详情、字段详情、分区详情以及版本管理。
基本信息:为您展示元数据的名称、数据源类型、数据源及数据源编码、租户模式(仅OceanBase支持展示该信息)、所属Schema/所属Database/所属MaxCompute项目、元数据类型、采集任务信息。
查看采集任务:单击采集任务的名称,支持跳转至采集任务列表页面自动筛选出对应的采集任务。
表详情:为您展示表、视图(包括物化视图)的系统属性信息,包括业务属性和技术属性。
业务属性:包括归属的来源系统信息。
技术属性:包括描述、存储类型、存储量等信息,针对不同数据源支持采集的信息有所差异,详情请参见元数据属性。
说明当数据表为Oracle表时,存储量通过表行数和每行平均使用空间(单位为字节)进行估算,不包括索引、未使用的空间、碎片等信息的统计,统计值会低于实际占用的空间大小。
若数据源表为分区表,表行数信息仅供参考;当前暂不支持采集分区表主表的表行数信息。
当数据源为OceanBase(Oracle租户)时,需执行
analyze
命令才能采集表行数信息。命令如下:--尖括号(<>)中的表名替换为业务中的数据表名称 analyze table <schema.tablename> COMPUTE STATISTICS;
DDL语句:当元数据类型为视图或物化视图时,支持查看当前视图/物化视图在数据源中创建的DDL语句,并可一键复制。
字段详情:若当前表为分区表,可查看分区信息,其中,部分数据源展示的信息有差异,详情请参见元数据属性。
您可以根据字段的名称或描述进行搜索,也可以切换查看不同版本的字段详情。
分区详情:仅部分数据源类型可采集分区信息,详情请参见元数据属性。
多级分区将按照各级分区组合结果展示,不同分区之间用正斜线(/)连接。
说明分区记录数和存储量信息仅供参考。
版本管理:支持查看元数据的版本记录,您可以在元数据 > 元数据变更记录中修改可查看的版本数量。
系统将根据采集任务的采集策略配置和源系统数据变更情况,对比最近2次存储的来源系统产生元数据变更时,就会生成新的版本。不同数据源生成元数据版本的说明,请参见元数据版本。
例如:数据更新策略配置添加新的元数据,更新已变更元数据、忽略删除操作;则连续两次采集时,如果源系统没有新增或更新的数据,仅有被删除的数据时,就不会生成新的元数据版本。
您可以根据版本的名称搜索版本。
为您展示版本号、对比上一版本更新、表描述、版本生成时间信息。同时,您可以查看版本对比信息。
对比上一版本更新:根据采集任务配置的采集策略,对比上一版本的来源系统元数据变更情况。
版本对比:支持切换查看历史版本记录,为您展示基本信息、变更字段、全部字段,详情请参见下方版本对比。
版本对比
您可以在版本对比页面,切换不同版本查看元数据是否有更新。
版本选择:选择基准版本和对比版本,查看两个版本之间的元数据差异信息。
基准版本:仅支持选择早于对比版本生成的历史版本。
对比版本:仅支持选择晚于基准版本生成的新版本。
基本信息:为您展示采集完成时间、执行方式、DDL语句(视图/物化视图支持查看)及影响版本生成的表属性信息,表属性信息请参见元数据版本。
变更字段:为您展示已选中的对比版本比较基准版本的差异项,包括变更字段的序号、字段名称、数据类型、是否可为空、默认值、描述、变更类型。
例如,对比版本修改了字段的描述,则该字段的变更类型为更新。
全部字段:为您分别展示基准版本和对比版本的全部字段信息,包括序号、字段名称、数据类型、是否可为空、默认值、描述。
仪表板
为您展示仪表板的基本信息、属性信息以及图表信息。
基本信息:为您展示仪表板的名称、应用系统类型、应用系统以及采集任务信息。
查看采集任务:单击采集任务的名称,支持跳转至采集任务列表页面自动筛选出对应的采集任务。
查看元数据:您可以快捷搜索并切换查看其他元数据的详情。
查看仪表板:单击查看仪表板跳转至Quick BI系统该仪表板的详情页面,查看更多信息。
属性信息:为您展示仪表板的属性信息,包括业务属性、管理属性、技术属性。
业务属性:为您展示仪表板的描述信息。
管理属性:为您展示所属BI工作空间、所属目录、负责人、最近更新人、最近更新时间、协同授权策略、是否公开、公开截止时间信息。
是否公开:公开的报表可通过链接直接访问无需登录,而未公开的报表需登录Quick BI系统后进行访问。
技术属性:为您展示来源数据集名称、图表总数、第三方嵌入状态信息。
图表信息:为您展示最新采集的图表信息,包括图表的序号、图表名称、图表类型、字段类型、字段名称/数据类型信息。
您可以根据图表的名称进行搜索,或根据图表类型、维度、度量进行筛选。