文档

Dataphin中对小时调度的事实逻辑表进行补数据操作,日期选择的是8月3号,但是补数据日志中看是查询的8月4号的数据

更新时间:
一键部署

问题描述

Dataphin中对小时调度的事实逻辑表进行补数据操作,日期选择的是8月3号,但是补数据日志中看是查询的8月4号的数据。这个是什么原因?

小时调度的逻辑表中参数bizdate、bizhour配置如下:

问题原因

产品设计如此,对于小时调度的任务,补数据时选择的业务时间区间,实际补的是T+1天之后的数据,具体可以参考“节点参数说明”的文档介绍:

对于补数据实例: 系统时间=T(取生成实例的时间) Bizdate<=T(补数据时传入值)→影响数据读写的时间分区值,预计执行时间=Bizdate+1 →影响数据生成时间 ①如Bizdate+1<=T,取Bizdate+1 ②如bizdate+1>T,特殊处理为T执行时,会根据调度配置时实例预计执行小时运行(如调度配置设置了定时以及分时段运行等)

解决方案

如果要补数8月3号的数据,在补数据操作时需要选择8月2号,补数8月2号的数据选择8月1号:

适用于

  • Dataphin3.3及其之后的版本
  • 本页导读
文档反馈