创建同步TableStore

创建同步TabelStore

如何创建

• 创建TableStore DataConnector主要需要如下前置条件：

  1. TableStore相关信息，包括TableStore服务的Endpoint、TableStore实例及其对应的Table。

  2. DataHub Topic的Owner/Creator账号, 才有相应的权限操作DataConnector，包括创建，删除等。

  3. TableStore表的主键列必须在DataHub Topic下有字段一一对应（定义顺序可以不一致）。

  4. 当选择STS临时账号方式时，将会自动创建DataHub服务关联角色，DataHub服务会使用此角色访问TableStore以完成数据同步

• 操作流程： Project列表->Project查看->Topic查看->点击创建DataConnector->选择TableStore填写配置，点击创建

  1. 进入Topic的详情页面：在Topic详情页面右上角，单击+ 同步。

  2. 选择同步TableStore并填写相关配置。

  在新建Connector表单中，配置以下参数：Endpoint（OTS经典网络地址）、Instance（OTS Instance名称）、Table（OTS Table名称）、写入模式（如PUT）、导入字段、鉴权模式（如STS）和起始时间，完成后单击创建。

在DataConnector页面查看数据归档状态：

配置说明

名称	是否必须	描述
TableStore Endpoint	yes	TableStore服务内网地址
TableStore实例名	yes	TableStore实例名
TableStore表名	yes	同步到TableStore的表

数据类型映射关系

OTS	DataHub
INTEGER	TINYINT
INTEGER	SMALLINT
INTEGER	INTEGER
INTEGER	BIGINT
INTEGER	TIMESTAMP
DOUBLE	FLOAT
DOUBLE	DOUBLE
BOOLEAN	BOOLEEAN
STRING	STRING
STRING	DECIMAL
BINARY	不支持

注意事项

• TableStore表的主键列必须在对应的DataHub Topic下存在同名的字段，由于DataHub大小写不敏感，所以TableStore的主键名如果存在大写字母，那么在DataHub Topic有对应小写字段。

• 同步TableStore表的DataConnector任务仅支持TUPLE类型Topic。

• TableStore服务端自身的限制最大每次批量写入的行数为200，具体TableStore的相关限制请参见使用限制。