本文为介绍当一张表口径发生变更时,如何通过DataWorks OpenAPI、OpenData、消息订阅的方式进行下游任务的血缘分析。

背景信息

随着大数据在企业内部使用越来越广泛,很多业务落地慢慢的都依赖大数据的产出结果做为基础,业务的发展遍地开花产生了越来越多的任务,这些任务之间相互依赖也就越来越复杂,慢慢的超过人为可视、可梳理范围。当上游的数据口径发生变更的时候,会对下游业务造成影响,这时候就急需有一种功能来辅助我们的运维人员一起梳理出整个受影响的业务范围,以防数据口径不一致引起资损、或提供错误的数据导致决策失误。

操作步骤

  1. 通过GetMetaColumnLineageGetMetaTableLineage,查看表的血缘关系。
    说明
    • 消息目前支持表变更、任务变更等。企业版用户可以对接表变更的消息,当接收到表变更的时候,您可以查看表的血缘关系。
    • GetMetaColumnLineage为字段血缘,GetMetaTableLineage为表血缘。查询表的血缘也可以改成查询任务的血缘。
  2. 根据字段血缘或表血缘,查到受影响的表的列表,根据表列表,通过GetMetaTableOutput,获取表的任务ID。
  3. 根据指定任务ID,通过GetNode获取任务详情,确认对的业务影响。