数据类型支持情况

更新时间:2017-06-07 13:26:11

为做到云上所有数据存储能够做到四通八达的传输通道,CDP必须设计出一套通用的数据传输格式,同时还需要保证各类数据存储系统均能够支持该协议。为尽可能适配最大范围系统,CDP仅设计支持常见数据类型,包括:

CDP支持类型 备注与说明
Long 定点数 Int、Short、Long、BigInteger
Double 浮点数 Float、Double、BigDecimal(无限精度)
String 字符串类型,底层不限长,使用通用字符集(Unicode)
Date 时间类型,包括日期、时间、日期时间类型
Bool 布尔值
Bytes 二进制,可以存放诸如MP3等非结构化数据

不同的读取、写入插件负责将上述的表格数据转换到各自的数据存储系统。以Mysql读取为例:

CDP支持类型 Mysql插件对应类型
Long int, tinyint, smallint, mediumint, int, bigint
Double float, double, decimal
String varchar, char, tinytext, text, mediumtext, longtext, year
Date date, datetime, timestamp, time
Bool bit, bool
Bytes tinyblob, mediumblob, blob, longblob, varbinary

同样,以ODPS写入的数据转换表如下:

CDP支持类型 ODPS插件对应类型
Long BIGINT
Double DOUBLE
String STRING
Date DATETIME
Bool BOOLEAN
Bytes

Mysql 所有int类型在ODPS最佳实践是存放为BIGINT类型,从上述CDP两张类型转换对应表,CDP的转换也是符合该类类型设计。尽管CDP在数据类型通用性已经做最大可能适配,但仍请用户在使用CDP具体插件请查阅每个插件对应的数据源类型,以确保CDP对插件类型支持符合您的预期。