在部分reader插件可通过调度参数实现每次调度只同步指定时间范围的数据至目标端。结合补数据功能可时间对应时间数据同步至目标端对应分区的功能。例如MySQL、loghub、kafka等。增量同步配置案例,请参见:数据集成使用调度参数。
重要
增量同步语法需要符合源端数据库语法。
具体插件是否支持增量同步,或具体插件配置请参见离线同步支持的数据源与读写插件。
示例1:将LogHub每十分钟内的增量数据同步至MaxCompute T-1分区
平台将根据定时时间,每十分钟生成一个调度实例,目标MaxCompute表分区名称也以调度参数的方式指定,$bizdate表示业务日期,定时任务执行时,任务配置的分区表达式会替换为调度参数所表达的业务日期。调度参数表达式的详细配置说明请参考文档:配置并使用调度参数。
说明 开始时间与结束时间为左闭右开区间。
示例2:每天0点将LogHub昨天的数据写入MaxCompute T-1分区
说明 开始时间与结束时间为左闭右开区间
示例3:同步历史数据
如果您需要将历史增量数据同步至目标表对应时间分区,您可以使用运维中心补数据功能。补数据功能使用详情请参见:执行补数据并查看补数据实例。
最佳实践
文档内容是否对您有帮助?