全部产品
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
数据集成

增量同步

更新时间:2017-09-08 08:18:56

增量数据同步是数据同步业务层面实现,具体到底层数据同步分为批量 Snapshot 同步以及变更操作日志同步。数据集成 Job 通过数据存储数据 API 接口完成批量数据同步功能,因此数据集成 Job 本身不支持获取数据存储系统层面的变化过程。例如数据集成无法通过获取解析 RDS BinLog 日志反查数据变化量并同步到目的数据源。

用户的增量业务需求,不仅仅只能通过系统级别增量变化日志解析实现数据增量同步。实际上,业界对于增量同步有诸多解决方案:

  • 时间戳方式:它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值。当进行数据抽取时,通过比较上次抽取时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。在阿里数据库使用实践中,所有的在线业务系统按惯例都默认添加了 create_time、modify_time,对于在线业务写入均自动修改上述两个字段,记录修改时间。数据集成在进行数据同步过程中,仅需要在 Mysql抽取环节配置 where 过滤条件做增量抽取。
  • 触发器方式:抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。对于此类应用方式,数据集成在进行数据同步时仅需指定抽取触发器写入表即可。
  • 表方式:在业务系统中添加系统日志表,当业务数据发生变化时,更新维护日志表内容,当作ETL 加载时,通过读日志表数据决定加载那些数据及如何加载。对于此类应用方式,数据集成同样使用 Where 过滤条件做增量抽取。
  • 日志表方式:在业务系统中添加系统日志表,当业务数据发生变化时,更新维护日志表内容,当作ETL 加载时,通过读日志表数据决定加载那些数据及如何加载。对于此类应用方式,数据集成同样使用 Where 过滤条件做增量抽取。
本文导读目录