创建同步TabelStore
如何创建
创建TableStore DataConnector主要需要如下前置条件:
TableStore相关信息,包括TableStore服务的Endpoint、TableStore实例及其对应的Table。
DataHub Topic的Owner/Creator账号, 才有相应的权限操作DataConnector,包括创建,删除等。
TableStore表的主键列必须在DataHub Topic下有字段一一对应(定义顺序可以不一致)。
当选择STS临时账号方式时,将会自动创建DataHub服务关联角色,DataHub服务会使用此角色访问TableStore以完成数据同步
操作流程: Project列表->Project查看->Topic查看->点击创建DataConnector->选择TableStore填写配置,点击创建
进入Topic的详情页面:
选择同步TableStore并填写相关配置:
在DataConnector页面查看数据归档状态:
配置说明
名称 | 是否必须 | 描述 |
---|---|---|
TableStore Endpoint | yes | TableStore服务内网地址 |
TableStore实例名 | yes | TableStore实例名 |
TableStore表名 | yes | 同步到TableStore的表 |
数据类型映射关系
OTS | DataHub |
---|---|
INTEGER | TINYINT |
INTEGER | SMALLINT |
INTEGER | INTEGER |
INTEGER | BIGINT |
INTEGER | TIMESTAMP |
DOUBLE | FLOAT |
DOUBLE | DOUBLE |
BOOLEAN | BOOLEEAN |
STRING | STRING |
STRING | DECIMAL |
BINARY | 不支持 |
注意事项
TableStore表的主键列必须在对应的DataHub Topic下存在同名的字段,由于DataHub大小写不敏感,所以TableStore的主键名如果存在大写字母,那么在DataHub Topic有对应小写字段。
同步TableStore表的DataConnector任务仅支持TUPLE类型Topic。
TableStore服务端自身的限制最大每次批量写入的行数为200,具体TableStore的相关限制请参见使用限制。