原子语义

更新时间:2017-06-07 13:26:11

CDP对接云上各类数据存储系统,受限于各类数据存储模型事务支持(例如海量数据回流RDS是无法提供原子性保证),CDP本身无法提供写入的原子性语义保证:CDP Job数据同步过程中,一旦出现数据同步异常导致失败,CDP无法保证数据全部进入或者全部回滚(All orNothing),同时数据导入过程对于目的数据源同样不是原子性提交,目的数据端仍可能看到数据进入的过程。

对于原子语义,建议用户可以使用在系统工程中使用临时表等技巧绕过原子性语义问题。例如,在使用CDP将ODPS系统数据回流到生产RDS数据库,前端业务用户可能观察到海量数据导入RDS过程,包括部分数据进入RDS过程。对于该类应用,建议用户使用A、B表切换保证在线系统原子语义:当前在线服务使用A表完成OLTP操作,数仓回流通道写入生产B表。待CDP整个写入RDS完成后,在线应用完成数据源从A表切换到B表,即可做到回流原子语义。