在Lindorm实例绑定至DataWorks后,您可以在数据地图中进行元数据管理和查看操作。本文为您介绍如何查看和管理Lindorm表数据。
前提条件
已在计算资源绑定页面设置了SPARK参数信息,用于采集Lindorm的元数据,详情请参见Lindorm计算资源设置Spark参数。
进入数据地图
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在右侧页面中单击进入数据地图。
采集Lindorm元数据
单击数据地图左侧导航栏中的图标,进入数据源采集器管理页面。在数据源视角的Lindorm采集器中配置元数据采集计划,即可采集Lindorm表的元数据信息,详情请参见元数据采集。
查找表
等待Lindorm元数据采集计划执行成功后,您可通过以下步骤查看所采集的Lindorm表元数据信息。
单击左侧的菜单栏的
图标,进入搜索页面。
在页面左侧的类型目录树中选择表类型,在数据源下方找到Lindorm数据源,进入Lindorm表列表页。
说明当数据源下方存在多个数据源时,当前列表显示不全,数据湖构建右侧会显示更多字样,您可单击更多查找Lindorm数据源。
在Lindorm表列表页上方的搜索框中输入表名关键字,即可查询所需查看的表信息。
查看表详情
在Lindorm表列表页,单击您所需查看的Lindorm表,即可进入该表详情页面查看表详细信息。
功能 | 说明 | 相关文档 |
快捷操作 | 您可以在页面上方将表加入专辑/查看已加入专辑或进行收藏。 | |
表基础信息 | 您可以在表基础信息区域查看表的数据库、表类型、负责人、创建时间、是否分区表等信息。 | |
表技术信息 | 用于查看表存储路径、输入格式和输出格式等信息。 | |
明细信息 | 用于查看搜索表的字段信息和血缘字段信息。 | |
血缘信息 | 用于查看Lindorm表之间的血缘关系。 | |
使用说明 | 您可以进行编辑、查看历史版本操作,根据数据的业务说明了解相关的信息。 |
管理表收藏信息
进入表详情页面后,您可以按照以下步骤将表进行收藏或取消收藏操作,以便于统一管理和快速访问。
收藏/取消收藏。
进行收藏:单击表名下方的收藏按钮,即可将表添加到收藏。
取消收藏:单击表名下方的取消收藏按钮,即可从收藏中移除该表。
查看表收藏信息。
单击数据地图左侧导航栏中的
图标,在左侧目录树中选择的 ,进入我的收藏页面。选择数据类型为Lindorm,即可查看您收藏的Lindorm表信息。
查看表基本信息
您可以在表详情页左侧区域查看表基础信息、技术信息及业务信息,以便更好地了解表的基本情况。
表的基础信息:包含表名、创建时间、是否分区表等相关信息。
表的技术信息:包含表的存储路径和输入输出格式等相关信息。
表的业务信息:包含表空间所属区域和所属实例等相关信息。
查看表明细信息
单击表详情页的明细信息页签,您可查看表明细相关信息。
查看表字段信息。
您可以查看表中每个字段的名称及其数据类型。
搜索字段信息。
当表中的字段较多时,您可以在字段信息下方的搜索栏中输入要查找的字段名称,快速定位到所需的字段信息。
预览字段描述。
单击字段信息下方的推荐字段描述,即可通过Copilot功能为您快速生成字段描述信息,帮助您更好地理解字段的含义和用途。
查看字段血缘。
单击对应字段右侧操作栏中的
图标,即可查看该字段涉及的数据血缘信息,了解其与其他字段或表的关系。
查看表血缘信息
血缘信息是基于解析调度作业、数据同步等真实数据的流转情况,得出的表和表、字段和字段之间的血缘关系。在血缘信息页面,您可查看表或表字段的上下游,查看表原始数据来源及表数据最终流向的数据库相关信息。同时,也可根据需求进行不同层级血缘的影响分析。
仅DataWorks标准版及以上版本才可查看血缘信息。
表和字段血缘是通过解析调度作业等真实数据的流转情况,得出不同表及不同字段间的血缘关系,该操作为实时统计。
若数据地图无法正常展示通过Lindorm Spark SQL节点执行SQL产生的数据血缘关系,则您可在Lindorm Spark SQL任务代码处通过手动设置DataWorks调度运行的相关参数解决。详情请参见绑定Lindorm计算资源。以下SQL语法执行可产生数据血缘关系:
insert into /insert overwrite table
create as select from table
create table
create table like
单击表详情页的血缘信息页签,您可查看表血缘信息和字段血缘信息,方便您管理和了解表及字段间的血缘关系。
查看表血缘
查看基本信息:将鼠标悬停在表或任务类型上,即可查看该表或任务类型的基本信息等详细内容。
查看上下游节点个数:在当前表血缘关系图中,可以查看当前表对应的上下游节点个数。
展开或收起节点:根据业务需求,单击血缘图中的
或
图标,可以查看或隐藏相应的上下游节点。
查看字段血缘
切换字段:在切换字段区域选择当前表中的不同字段,可以查看所选字段对应的字段血缘图。
查看基本信息:将鼠标悬停在字段或任务类型上,即可查看该字段或任务类型的基本信息等详细内容。
查看上下游节点个数:在当前字段血缘关系图中,可以查看当前字段对应的上下游节点个数。
展开或收起节点:单击血缘图中的
或
图标,可以查看或隐藏相应的上下游节点。
查看表使用说明信息
单击表详情页的使用说明页签,您可编辑、查看历史版本信息,方便您管理和了解不同时期该表的应用场景。
编辑表使用说明信息。
单击编辑按钮,在弹出的编辑框中输入对当前表的使用说明,单击保存,即可完成对表当前版本使用说明信息的保存。
查看表历史版本使用说明。
单击查看历史版本按钮,即可查看该表的所有版本操作记录。您也可单击操作栏中的查看,了解该表在不同时间段的使用场景。