Dataphin逻辑表任务运行时间超长

问题描述

Dataphin逻辑表任务运行时长达到了50+小时，为什么运行时长会那么长时间？

问题原因

该逻辑表任务存在多个物化节点或者所有上游任务没有正常调度导致的。

解决方案

该逻辑表任务存在两个物化节点；且存在两个上游依赖。查看逻辑表任务的运行日志；两个物化节点中一个是7月3号运行结束的，另外一个是7月5号运行结束的，因为我们运行时长是该逻辑表实例的开始运行时间与结束运行时间之间的统计，所以这里运行时长统计50多小时。由于依赖上游的逻辑表任务在7月3号运行出现异常导致该当前逻辑表任务的物化节点一直没有调度；在7月5号用户手动操作重跑上游依赖的逻辑表任务，当上游依赖的逻辑表任务运行成功后，当前逻辑表任务的物化节点7月5号才开始调度。

逻辑表任务的生产链路截图如下：有些字段是7月3号运行，有些是7月5号运行的。

上游逻辑表任务运行日志如下截图：两次自动调度均失败，7月5号重跑调度恢复正常。

适用于

• Dataphin