数据血缘可以用于查看表和表、字段和字段之间的血缘关系,从而辅助业务进行数据的溯源和管理,在作业异常时也可以帮助业务分析上下游作业影响。Hologres与DataWorks深度集成,您可以通过DataWorks的数据地图模块实现Hologres的数据血缘管理。
背景信息
DataWorks数据地图是在元数据基础上提供的企业数据目录管理模块,提供元数据详情查看、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据,详情请参见数据地图概述。
使用限制
-
仅Hologres V1.1及以上版本支持使用数据地图功能,如果您的实例是V1.1以下版本,请您使用常见升级准备失败报错或加入Hologres钉钉交流群反馈,详情请参见如何获取更多的在线支持?。
-
仅DataWorks标准版及以上版本才可查看血缘信息。
-
在数据地图中配置Hologres元数据采集器一个小时后才能看到血缘信息。
Hologres数据血缘查看
您可以通过DataWorks数据地图查看Hologres表之间的血缘关系,操作步骤如下:
-
Hologres元数据采集与接入。
您需要通过元数据采集功能将Hologres数据源中的元数据导入数据地图进行统一管理,详情请参见元数据采集。
元数据采集完成后,您可以在数据总览页面查看当前地域下,配置了数据采集器的Hologres数据库统计信息和表信息,详情请参见数据总览。元数据采集完成后,可在数据地图中查看 Hologres 实例的统计概览,包括数据库总数和总表数等指标。
如果需要查找表,可参见元数据检索。
-
查看血缘详情。
查找到目标表后,您可以单击目标表名称进入表详情页面,查看表的基础信息、产出信息和血缘信息等。详情请参见查看表详情。
以下示例是一张Hologres内部表,您可以在此页面查看其元数据信息,可以在血缘关系页签查看该表对应的血缘。表详情页面包含明细信息、血缘信息、使用说明页签。在明细信息页签下,字段信息子页签以表格展示各字段的名称及数据类型(如 o_orderkey(bigint)、o_custkey(integer) 等)。左侧面板除基础信息外,还包括技术信息和业务信息区域。
查看与MaxCompute的血缘关系
DataWorks数据地图也支持查看MaxCompute和Hologres之间的血缘关系,如下示例,点击Hologres外部表链接,即可查看对应的MaxCompute表信息。
Hologres外部表对应的MaxCompute表的所属项目必须被DataWorks目标工作空间绑定,才可由此处的外部表链接进入MaxCompute表详情页面。
在表详情页面的技术信息区块中,外部表字段显示关联的 MaxCompute 表名(如 default.weather),单击该链接即可跳转至对应的 MaxCompute 表详情页面。
您可以在此处查看表血缘信息,例如,该页面显示了在DataWorks的调度模块中,将数据通过Hologres外部表写入MaxCompute表。同时也可以进入字段血缘页签查看字段血缘关系。例如,Hologres 外部表 public.weather2 的详情页左侧展示表基础信息(数据源类型 Hologres、数据库、负责人等)和技术信息(外部表路径),右侧血缘信息标签页以图形化方式展示该外部表与 MaxCompute 表 default.weather 之间的外表映射关系。
查看与Flink的血缘关系
您可以在Flink的管控台查看Hologres与Flink的血缘关系,详情请参见查看血缘关系。