全部产品
阿里云办公

增量数据同步

更新时间:2018-04-08 21:51:56

增量数据同步是数据同步业务层面的实现,底层数据的同步分为批量Snapshot同步和变更操作日志同步。

数据集成Job通过数据存储数据API接口完成批量数据同步功能,因此数据集成Job本身不支持获取数据存储系统层面的变化过程。例如数据集成无法通过获取解析RDS BinLog日志数据变化量并同步到目的数据源。

若您有增量业务的需求,不仅可通过系统级别增量变化日志解析实现数据增量同步,也可通过以下方案进行解决。

  • 时间戳方式:它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值。

    当进行数据抽取时,通过比较上次抽取时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。

    在阿里数据库使用实践中,所有的在线业务系统按惯例都默认添加了create_time、modify_time,对于在线业务写入均自动修改上述两个字段,记录修改时间。数据集成在进行数据同步过程中,仅需要在MySQL抽取环节配置where过滤条件做增量抽取。

  • 触发器方式:抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。对于此类应用方式,数据集成在进行数据同步时仅需指定抽取触发器写入表即可。

  • 表方式:在业务系统中添加系统日志表,当业务数据发生变化时,更新维护日志表内容,当作ETL加载时,通过读日志表数据决定加载那些数据及如何加载。对于此类应用方式,数据集成同样使用Where过滤条件做增量抽取。

  • 日志表方式:在业务系统中添加系统日志表,当业务数据发生变化时,更新维护日志表内容,当作ETL加载时,通过读日志表数据决定加载那些数据及如何加载。对于此类应用方式,数据集成同样使用Where过滤条件做增量抽取。