如何通过事实逻辑表配置自动补全延迟数据

更新时间:
复制为 MD 格式

场景

在零售行业中,订单数据是每天晚上由POS系统同步至数据中台。然而,门店人员经常未能及时将订单信息录入POS,这种情况会导致指标的不准确性,数据中台的开发人员往往需要批量补充历史分区的数据。此时应如何使系统能够自动补充前几天分区中的事实逻辑表数据,来减轻开发人员的工作呢?

解决方案及功能

前往研发 > 数据开发 > 事实逻辑表中,在目标事件事实逻辑表的调度配置中开启数据延迟后,系统将自动重跑本逻辑表在最大延迟天数周期内的全部数据。系统将根据事件时间分区时间判断该数据是否为延迟数据,再将延迟数据自动回刷至对应业务日期分区。

说明
  • 若当前事件事实逻辑表未设置事件时间字段、主键、或者已开启自定义物化时,不支持开启延迟数据处理。

  • 事实逻辑表数据时效需为天时效(离线T+1)且该逻辑表设置了事件时间字段,才可开启数据延迟。

  • 开启数据延迟后,系统将自动重跑本逻辑表在最大延迟天数周期内的全部数据,该功能将消耗更多的计算资源,可能造成产出延迟。

  • 延迟数据处理只能自动重跑所设置的周期内的事实逻辑表,下游无法自动重跑。