数据交换原理

更新时间:2017-06-07 13:26:11

为构建云上四通八达的数据同步通道,CDP Job自身定义一套数据中间格式。针对不同的数据通道,实现不同的读取插件完成从各类数据源抽取数据(CDP称之为Reader),以及不同写入插件向各类数据源写入数据(CDP称之为Writer)。CDP的各类插件实际上是完成了各类数据源对接CDP的适配器。如下:

image

  1. CDP利用RDSReader(实际上是MysqlReader)完成数据从RDS抽取,并转换为CDP的数据协议,投递给CDP传输中间层。

  2. CDP利用ODPSWriter完成CDP的数据协议转换为ODPS的数据协议,并将转换后的数据向ODPS写入。

通过上述CDP数据中间层,CDP可以为公有云上构建出四通八达的数据传输同步通道,让数据不再是孤岛!

image