离线同步任务支持您通过配置类似数据过滤的功能来决定同步全量数据还是增量数据,配置过滤条件时,将只同步满足过滤条件的数据。同时,过滤条件可以结合调度参数使用,实现过滤条件随任务调度时间的动态变化,进而实现增量数据的同步。为您介绍如何配置增量数据同步任务。

使用说明

  • 部分数据源暂无增量同步方案,例如HBase、OTSStream数据源等。具体数据源是否支持增量同步可以看具体的Reader插件文档。
  • 每个插件实现增量同步的所配置的参数可能不同,具体参数配置可以参考对应的Reader插件文档,详情可参考:支持的数据源与读写插件。例如:
    数据库类型 增量同步需配置的参数 支持的语法
    MySQL Reader where
    说明 向导模式配置时,需要配置的界面参数名为:数据过滤。
    数据库语法
    说明 可与调度参数结合实现每日读取指定时间区间的数据。
    MongoDB Reader query
    说明 向导模式配置时,需要配置的界面参数名为:检索查询条件。
    基本与数据库一致
    说明 可与调度参数结合实现每日读取指定时间区间的数据。
    OSS Reader Object 指定路径
    说明 与调度参数结合实现每日读取指定文件数据。
    ... ... ...

配置增量同步

以同步MySQL数据为例:
  • 当不配置数据过滤时,默认同步全量数据至目标表中。
  • 当配置数据过滤时,将只同步满足过滤条件的数据至目标表中。
增量同步示例配置增量数据同步时:
  • 时间类型增量字段同步:可以通过调度参数来实现时间类型数据的动态替换,调度参数将在任务调度时自动根据业务时间替换为具体的值。关于调度参数的使用,详情请参见:调度参数概述
  • 非时间类型增量字段同步:可以通过赋值节点将字段处理为目标数据类型后,再传入数据集成进行数据同步。关于赋值节点的使用详情请参见:赋值节点

场景示例