数据血缘

数据血缘可以用于查看表和表、字段和字段之间的血缘关系,从而辅助业务进行数据的溯源和管理,在作业异常时也可以帮助业务分析上下游作业影响。Hologres与DataWorks深度集成,您可以通过DataWorks的数据地图模块实现Hologres的数据血缘管理。

背景信息

DataWorks数据地图是在元数据基础上提供的企业数据目录管理模块,提供元数据详情查看、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据,详情请参见数据地图概述

使用限制

  • 仅Hologres V1.1及以上版本支持使用数据地图功能,如果您的实例是V1.1以下版本,请您使用自助升级或加入Hologres钉钉交流群反馈,详情请参见如何获取更多的在线支持?

  • 仅DataWorks标准版及以上版本才可查看血缘信息。

  • 在数据地图中配置Hologres元数据采集器一个小时后才能看到血缘信息。

  • 仅在如下地域提供数据血缘服务:

    华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、中国(香港)、新加坡、华东 2 金融云。

Hologres数据血缘查看

您可以通过DataWorks数据地图查看Hologres表之间的血缘关系,操作步骤如下:

  1. Hologres元数据采集与接入。

    您需要通过元数据采集功能将Hologres数据源中的元数据导入数据地图进行统一管理,详情请参见元数据采集

    元数据采集完成后,您可以在数据总览页面查看当前地域下,配置了数据采集器的Hologres数据库统计信息和表信息,详情请参见数据总览image

    如果需要查找表,可参见通用数据查询与管理

  2. 查看血缘详情。

    查找到目标表后,您可以单击目标表名称进入表详情页面,查看表的基础信息、产出信息和血缘信息等。详情请参见查看表详情

    下图示例是一张Hologres内部表,您可以在此页面查看其元数据信息,可以在血缘关系页签查看该表对应的血缘。image

查看与MaxCompute的血缘关系

DataWorks数据地图也支持查看MaxCompute和Hologres之间的血缘关系,如下示例,点击Hologres外部表链接,即可查看对应的MaxCompute表信息。

重要

Hologres外部表对应的MaxCompute表的所属项目必须被DataWorks目标工作空间绑定,才可由此处的外部表链接进入MaxCompute表详情页面。

image

您可以在此处查看表血缘信息,例如下图显示了在DataWorks的调度模块中,将数据通过Hologres外部表写入MaxCompute表。同时也可以进入字段血缘页签查看字段血缘关系。image

查看与Flink的血缘关系

您可以在Flink的管控台查看Hologres与Flink的血缘关系,详情请参见查看血缘关系