Dataphin中为什么会出现下游节点任务运行结束时间比其上游节点运行时间早

问题描述

Dataphin中为什么会出现下游节点任务运行结束时间比其上游节点运行时间早？比如以下问题：上游节点是逻辑表dim_org，解析之后，生成两个物化表，分别于2021-11-19 03:11:16、2021-11-19 03:44:29分运行结束。下游节点是代码任务，发现其运行时间是2021-11-19 03:40:25。比上游节点其中一个物化表时间晚。

上游节点运行日志和结束时间：

下游节点运行日志和时间：

问题原因

下游节点依赖上游逻辑表可以到字段级别导致，逻辑表解析后物化表有两个导致：

解决方案

目前上下游依赖可以精确到字段级，下游代码任务依赖了上游节点的org_id、org_name等字段。上游节点是逻辑表，解析后有两个物化表，其中下游依赖的字段所在的物化表是在03:11:16就结束了，在下游节点运行时间之前。因此是正常情况，不属于问题。

适用于

• Dataphin