创建同步TableStore

创建同步TabelStore

如何创建

  • 创建TableStore DataConnector主要需要如下前置条件:

    1. TableStore相关信息,包括TableStore服务的Endpoint、TableStore实例及其对应的Table。

    2. DataHub Topic的Owner/Creator账号, 才有相应的权限操作DataConnector,包括创建,删除等。

    3. TableStore表的主键列必须在DataHub Topic下有字段一一对应(定义顺序可以不一致)。

    4. 当选择STS临时账号方式时,将会自动创建DataHub服务关联角色,DataHub服务会使用此角色访问TableStore以完成数据同步

  • 操作流程: Project列表->Project查看->Topic查看->点击创建DataConnector->选择TableStore填写配置,点击创建

    1. 进入Topic的详情页面:9-1

    2. 选择同步TableStore并填写相关配置:

    aaa

在DataConnector页面查看数据归档状态:

配置说明

名称

是否必须

描述

TableStore Endpoint

yes

TableStore服务内网地址

TableStore实例名

yes

TableStore实例名

TableStore表名

yes

同步到TableStore的表

数据类型映射关系

OTS

DataHub

INTEGER

TINYINT

INTEGER

SMALLINT

INTEGER

INTEGER

INTEGER

BIGINT

INTEGER

TIMESTAMP

DOUBLE

FLOAT

DOUBLE

DOUBLE

BOOLEAN

BOOLEEAN

STRING

STRING

STRING

DECIMAL

BINARY

不支持

注意事项

  • TableStore表的主键列必须在对应的DataHub Topic下存在同名的字段,由于DataHub大小写不敏感,所以TableStore的主键名如果存在大写字母,那么在DataHub Topic有对应小写字段。

  • 同步TableStore表的DataConnector任务仅支持TUPLE类型Topic。

  • TableStore服务端自身的限制最大每次批量写入的行数为200,具体TableStore的相关限制请参见使用限制