DataWorks数据集成离线增量数据同步怎么配置

在部分reader插件可通过调度参数实现每次调度只同步指定时间范围的数据至目标端。结合补数据功能可时间对应时间数据同步至目标端对应分区的功能。例如MySQL、loghub、kafka等。增量同步配置案例,请参见:数据集成使用调度参数

重要

示例1:将LogHub每十分钟内的增量数据同步至MaxCompute T-1分区

平台将根据定时时间,每十分钟生成一个调度实例,目标MaxCompute表分区名称也以调度参数的方式指定,$bizdate表示业务日期,定时任务执行时,任务配置的分区表达式会替换为调度参数所表达的业务日期。调度参数表达式的详细配置说明请参考文档:配置并使用调度参数

说明 开始时间与结束时间为左闭右开区间。

image

示例2:每天0点将LogHub昨天的数据写入MaxCompute T-1分区

说明 开始时间与结束时间为左闭右开区间

image

示例3:同步历史数据

如果您需要将历史增量数据同步至目标表对应时间分区,您可以使用运维中心补数据功能。补数据功能使用详情请参见:执行补数据并查看补数据实例同步历史数据

最佳实践