Dataphin中对小时调度的事实逻辑表进行补数据操作,日期选择的是8月3号,但是补数据日志中看是查询的8月4号的数据
更新时间:
问题描述
Dataphin中对小时调度的事实逻辑表进行补数据操作,日期选择的是8月3号,但是补数据日志中看是查询的8月4号的数据。这个是什么原因?
小时调度的逻辑表中参数bizdate、bizhour配置如下:
问题原因
产品设计如此,对于小时调度的任务,补数据时选择的业务时间区间,实际补的是T+1天之后的数据,具体可以参考“节点参数说明”的文档介绍:
对于补数据实例: 系统时间=T(取生成实例的时间) Bizdate<=T(补数据时传入值)→影响数据读写的时间分区值,预计执行时间=Bizdate+1 →影响数据生成时间 ①如Bizdate+1<=T,取Bizdate+1 ②如bizdate+1>T,特殊处理为T执行时,会根据调度配置时实例预计执行小时运行(如调度配置设置了定时以及分时段运行等)
解决方案
如果要补数8月3号的数据,在补数据操作时需要选择8月2号,补数8月2号的数据选择8月1号:
适用于
- Dataphin3.3及其之后的版本
反馈
- 本页导读
文档反馈