双跑血缘染色

基于SQL脚本提供血缘(任务+表)解析能力,根据校验结果进行染色,用于双跑过程中错误溯源。注意:当前为beta版本,如有使用需要请联系我们。

单击左侧导航栏的 调研&发现 > 血缘孪生,进入 血缘孪生 板块

一、新建血缘

点击 新建血缘

image.png

2.1 新建血缘(当前支持对上传MaxCompute SQL进行血缘解析)

image.png

如果SQL跨项目空间(Project),建议您成组上传。

  • 选择默认ProjectName是为了解析SQL中未明确指定表前缀的情况:对应SQL文件中引用表时未指明该表所属Project时, 通过默认ProjectName进行填充, 解析并渲染血缘。例如某SQL文件中代码片段:SELECT * FROM dwd_test_data, 当默认ProjectNameCRM时, 该SQL解析出的Input表将为CRM.dwd_test_data

  • SQL文件:支持上传文件格式.zip .sql格式, 文件大小不超过20M, 且sql文件数不超过5000

校验染色:

关联数据源后,该数据源下所有表进行的数据校验结果会在血缘查询中予以染色(校验通过为绿色,校验不通过为红色)表现。

同时血缘列表中的“刷新探查”会通过刷新数据源元数据,扩大被染色的表范围(如果未出现在元数据探查范围内的表,不会有染色结果),该功能依赖 Agent配置相关前置动作

image.png

2.2 修改配置

image.png

APPEND模式: 只追加节点与对应的血缘信息,对于已经存在的节点不做更新

OVERWRITE模式:对于已经存在的节点会进行更新

二、全局染色配置

在血缘列表右上角有 全局染色配置,可以对染色范围和标准进行自定义

image.png

三、查看链路

点击血缘列表操作一栏中的 查看链路,在搜索框中支持通过表名或者任务名进行搜索

image.png

血缘链路图会以搜索节点为中心进行展开,如下图所示:

image.png

如果配置了校验染色,以及对应数据源的表有相应的数据校验任务创建及使用说明信息。则会呈现染色效果。

image.png