本文为您介绍如何在DataHub中创建同步至Hologres的Connector,以及在创建时的注意事项以及问题。
准备工作
准备Hologres实例和表结构
使用Hologres管控台新建Hologres实例,DataHub同步Hologres时会根据DataHub Field的数据类型同步到对应的Hologres 表数据类型中,对应的类型映射关系如下所示:
DataHub | Hologres |
TINYINT | SMALLINT |
SMALLINT | SMALLINT |
INTERGER | INTERGER |
BIGINT | BIGINT |
FLOAT | REAL |
DOUBLE | DOUBLE PRECISION |
DECIMAL | DECIMAL |
STRING | TEXT |
BOOLEAN | BOOLEAN |
TIMESTAMP | TIMESTAMPTZ |
Hologres V2.0版本起支持DataHub TINYINT
、SMALLINT
、INTEGER
和FLOAT
四种新数据类型。
创建同步任务
单击DataHub中已创建的Topic,进入Topic详情页。
单击Topic详情页右上角的
。
在新建Connector界面单击Hologres,配置新建Connector弹框的参数,单击创建。
同步Hologres支持分区表,在Hologres创建分区表后,同步Hologres任务会自动根据分区字段进行数据同步。
同步参数说明:
参数
描述
说明
Instance
Hologres实例的ID。
进入Hologres管理控制台,在左侧导航栏单击实例列表,查看已有实例ID。
DataBase
Hologres的数据库名称。
无
Table
Hologres用于接收数据的表名称。
无
主键同步策略
当Hologres表设置主键时,从DataHub写入的数据的同步策略。
replace:当写入发生主键冲突时,新的数据覆盖老数据。
ignore:写入时发生主键冲突,忽略新数据,即数据不更新,仍然使用老数据。
同步场景
DataHub同步到Hologres的同步模式。
default:将DataHub数据逐条写入Hologres。
dts_old:不启用新的附加列规则。
dts:启动新的附件列规则。
导入字段
需要导入Hologres的字段。
可以根据实际业务需求选择导入部分或全部字段。
鉴权模式
默认为AK。
无
AccessId
访问Hologres实例的AccessKey ID。
您可以单击AccessKey 管理,获取用户的AccessKey ID。
AccessKey
访问Hologres实例的AccessKey Secret。
您可以单击AccessKey 管理,获取AccessKey Secret。
起始时间
同步Hologres的最早数据同步时间。
无
TimestampUnit
同步Hologres的时间单位。
将数据中TIMESTAMP类型的数据(如果有),以TimestampUnit为单位进行转换后写入到下游系统的日期类型。
说明同步场景中的(
dts
/dts_old
)同步模式适用于数据由DTS写入到DataHub,然后同步到Hologres的场景新旧附加列说明请参考Hologres文档 从DataHub导入。
同步DataHub的数据至Hologres。
成功创建Connector后,您可以在Topic详情页的同步任务中查看实时同步数据的状态。
Hologres查询数据。
您可以连接Hologres实例至开发工具,实时查询同步至Hologres中的数据,详情请参见连接Hologres,示例查询语句如下。
SELECT COUNT(*) FROM lineitem;
附录一:常见问题
创建同步报错
ErrorCode=NoPermission; ErrorMessage=Rejected by IP whitelist
解决方法:Hologres支持在HoloWeb中设置IP白名单来进行访问管理,如遇此报错请检查是否在HoloWeb中设置了IP白名单。添加DataHub ip白名单列表详情见IP白名单