如何使用血缘关系_实时计算 Flink版(Flink)-阿里云帮助中心

Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。本文为您介绍如何通过作业角度和元数据角度查看血缘关系。

背景信息

在数据的来源和变更历史无法追踪的情况下，数据的质量和安全难以保障，且数据的分析和故障排查效率很低。此时，您可以使用数据血缘功能。数据血缘关系描述了数据在来源、处理、传输和消费过程中形成的关系，包括元数据之间的流向、依赖关系以及元数据与流批作业的生产消费关系。在Flink全托管中，我们提供了N层作业的表级别和字段级别的数据血缘关系的查看和分析能力，具体的优势详情如下表所示。

优势	详情
提升数据确认效率	通过溯源数据，可以全面了解数据的各个方面，包括作业涉及的产品、数据库和表情况，表字段的属性和关联关系，数据的来源、经过的处理步骤、传输路径以及最终的消费者。这样可以帮助您更好地理解数据的流向和依赖关系，从而验证数据的可信度和准确性，更好地管理和分析数据，并提高工作效率。
提升故障排查效率	当数据在处理过程中出现问题时，通过血缘关系，您可以追踪到问题的根源，快速定位和解决故障，避免业务损失和高昂的人力成本。
提升数据分析效率	当数据资产变更或者出错的情况下快速定位所影响的线上作业，及时进行处理，避免错误决策。
优化数据资产成本	通过分析血缘关系，您可以了解数据的流转路径和依赖关系，从而优化数据处理流程，及时下线长期没有调用的服务，提高数据处理的效率和质量且节省数据成本。

数据血缘模型

完整的血缘系统的数据模型如下图所示。

图中包含节点（实体）和边（关系），实体和关系的组合显示为数据血缘。

类别

详情

节点

每个Catalog、数据表、字段都可以认为是一个数据实体。实体在血缘图展示中抽象成为节点，血缘关系的节点包含以下两类：

数据节点：对于存储数据的介质的抽象，包括元数据（Catalog、DB、表、字段）。
作业节点：对于部署的抽象，一个Flink SQL作业。

关系

生产实体的上游，以及使用它的下游，都是对应的实体之间的关系。您可以看到以下血缘关系：

表之间的依赖关系。
表、字段之间的从属关系。
生产消费关系：从作业节点指向数据节点的边，作业生产了该数据节点的数据；从数据节点指向作业节点的边，作业消费了该数据节点的数据。

使用限制

仅支持查看项目空间内作业和元数据间的血缘关系，不支持跨项目空间查看血缘关系。
元数据角度查看血缘需要使用Catalog，作业角度查看血缘不依赖Catalog。
仅支持查看和搜索SQL作业的血缘关系。
仅已部署并启动一次的SQL作业支持查看血缘关系，作业停止后会维持最后一次血缘关系。
Flink的数据血缘关系功能仅支持追踪和展示QueryOperation、SinkModifyOperation和CreateTableAsTableOperation类型操作的数据血缘。对于其他类型的操作或语句，可能无法准确捕获或展示数据血缘信息。

从作业角度查看血缘信息

在作业运维页面，您可以查看作业节点和数据节点具体的信息，以及目标作业中表之间的依赖关系，表和字段之间的从属关系。

说明

默认会以该作业作为中心节点，展示三层血缘关系，即上游表、中心作业和下游表。如果您需要再往前或者往后追溯血缘情况，可以依次单击上游左侧的加号，下游右侧的加号。

登录实时计算控制台。
在Flink全托管页签，单击目标工作空间操作列下的控制台。
在作业运维页面，单击目标作业名称。

在血缘关系页签，单击表级别或字段级别，分别查看表级别或者字段级别的血缘关系。

类别	详情
表级别	查看节点类型、连接器、Catalog名称、数据库名称、目标表和源表名称，以及作业ID，作业创建时间、创建者、最近修改时间、最近修改人等信息。
字段级别	查看表字段、字段类型，以及表级别相同的数据库名称、Catalog名称和链接器，作业有关信息。

表级别血缘
字段级别血缘

从元数据角度查看血缘信息

说明

如果Catalog下某个表关联的作业比较多，血缘关系图不好查看，您可以通过缩放等功能查看血缘关系图。也可以打开居中选中节点开关，开启后再单击到目标作业或表，节点会进行自动居中。

登录实时计算控制台。
在Flink全托管页签，单击目标工作空间操作列下的控制台。
在元数据管理页面，左键双击目标Catalog下目标数据库下的目标表名称。
在血缘关系页签，单击表级别或字段级别，分别查看表级别或者字段级别的血缘关系。
- 表级别血缘
  在表级别血缘页签下，您可以查看目标Catalog的某个表都被哪些作业引用了，当该表结构或者数据发生变更时，您可以快速的对被引用的作业进行处理（修改作业代码或停止作业）。
  双击目标作业节点，您可以看到该作业ID、创建和修改信息。如果您需要快速跳转到该作业的运维页面，单击下图位置的作业名称即可。
- 字段级别
  在字段级别的血缘图中，您可以单击目标字段，根据淡蓝色的实线指引，确定该字段被哪些作业中的哪个表给引用，对应的字段是哪个。当目标字段被删除、名称或者属性发生变化时，您可以快速找到被引用的作业及表和字段，对关联的表字段进行相应的处理。

通过节点名称搜索查看血缘信息

当血缘关系图很复杂时，您可以通过节点名称模糊搜索，快速定位到目标节点，查看目标节点的信息。

登录实时计算控制台。
在Flink全托管页签，单击目标工作空间操作列下的控制台。
在作业运维页面，单击目标作业名称。
在血缘关系页面，在通过节点名称搜索文本框中，输入目标节点名称后，单击回车键。
单击回车后，中心节点会由当前作业移动至搜索节点，会有颜色变化。
双击目标节点名称，查看血缘信息。