创建同步Hologres

准备工作

1. 准备Hologres实例和表结构

使用Hologres管控台新建Hologres实例,DataHub同步Hologres时会根据DataHub Field的数据类型同步到对应的Hologres 表数据类型中,对应的类型映射关系如下所示:

DataHub

Hologres

TINYINT

SMALLINT

SMALLINT

SMALLINT

INTERGER

INTERGER

BIGINT

BIGINT

FLOAT

REAL

DOUBLE

DOUBLE PRECISION

DECIMAL

DECIMAL

STRING

TEXT

BOOLEAN

BOOLEAN

TIMESTAMP

TIMESTAMPTZ

同步说明:

  • Hologres V2.0版本起支持DataHub TINYINT、SMALLINT、INTEGER和FLOAT四种新数据类型

创建同步任务

  1. 单击DataHub中已创建的Topic,进入Topic详情页。

  2. 单击Topic详情页右上角的+同步

  3. 新建Connector界面单击Hologres,配置新建Connector弹框的参数,单击创建

  4. 同步Hologres支持分区表,在Hologres创建分区表后,同步Hologres任务会自动根据分区字段进行数据同步

image.png

同步参数说明:

参数

描述

说明

Instance

Hologres实例的ID。

进入Hologres管理控制台的,获取实例ID

DataBase

Hologres的数据库名称。

Table

Hologres用于接收数据的表名称。

主键同步策略

当Hologres表设置主键时,从DataHub写入的数据的同步策略

  • replace:当写入发生主键冲突时,新的数据覆盖老数据

  • ignore:写入时发生主键冲突,忽略新数据,即数据不更新,仍然使用老数据

同步场景

DataHub同步到Hologres的同步模式

  • default: 将Datahub数据逐条写入Hologres

  • dts_old: 不启用新的附加列规则

  • dts: 启动新的附件列规则

导入字段

需要导入Hologres的字段。

可以根据实际业务需求选择导入部分或全部字段。

鉴权模式

默认为AK。

AccessId

访问Hologres实例的AccessKey ID。

您可以单击AccessKey 管理,获取用户的AccessKey ID。

AccessKey

访问Hologres实例的AccessKey Secret。

您可以单击AccessKey 管理,获取AccessKey Secret。

起始时间

同步Hologres的最早数据同步时间

TimestampUnit

同步Hologres的时间单位

将数据中TIMESTAMP类型的数据(如果有),以TimestampUnit为单位进行转换后写入到下游系统的日期类型

说明

同步场景中的(dts/dts_old)同步模式适用于数据由DTS写入到DataHub,然后同步到Hologres的场景

新旧附加列说明请参考Hologres文档 实时同步DataHub的数据至Hologres

  1. 同步DataHub的数据至Hologres

成功创建Connector后,您可以在Topic详情页的数据同步中查看实时同步数据的状态。19-5

  1. Hologres查询数据

您可以连接Hologres实例至开发工具,实时查询同步至Hologres中的数据,详情请参见概述。示例查询语句如下。

SELECT COUNT(*) FROM lineitem;

常见问题

Q: 创建同步报错

 ErrorCode=NoPermission; ErrorMessage=Rejected by IP whitelist

A: Hologres支持在HoloWeb中设置IP白名单来进行访问管理,如遇此报错请检查是否再HoloWeb中设置了IP白名单。添加ip白名单操作详情见:ip白名单

附:使用DataHub同步Hologres需要在数据库添加的IP白名单

Region

经典网白名单

华东1(杭州)

10.127.226.0/24 

10.32.103.0/24

10.32.104.0/24

10.32.175.0/24

10.32.177.0/24

10.32.94.0/24

10.32.95.0/24

10.32.96.0/24

10.32.97.0/24

10.32.98.0/24

10.32.99.0/24

10.88.7.0/24

11.117.164.0/24

11.117.165.0/24

11.117.166.0/24

11.117.167.0/24

11.197.10.0/24

11.197.14.0/24

11.197.15.0/24

11.197.16.0/24

华东2(上海)

11.217.75.0/24

11.222.38.0/24

11.222.93.0/24

11.223.69.0/24

华北2(北京)

11.204.155.0/24

11.204.158.0/24

11.204.161.0/24

11.204.162.0/24

11.218.245.0/24

11.220.203.0/24

11.220.204.0/24

11.220.216.0/24

11.220.217.0/24

11.220.237.0/24

11.220.238.0/24

11.220.240.0/24

11.220.242.0/24

11.223.107.0/24

华南1(深圳)

11.216.113.0/24

11.217.52.0/24

11.220.54.0/24

11.220.56.0/24

亚太东南1(新加坡)

11.216.101.0/24

11.219.129.0/24

政务云(北京)

11.199.246.0/24

11.199.247.0/24

华北 3(张家口)

11.218.202.0/24

11.218.203.0/24

亚太南部 1(孟买-印度)

11.207.230.0/24

11.207.231.0/24

11.207.248.0/24

亚太东南 3(吉隆坡-马来西亚)

11.204.39.0/24

11.204.40.0/24

11.204.41.0/24

11.48.249.0/24

11.48.250.0/24

中国香港

11.195.192.0/24

美国硅谷

11.199.218.0/24

11.199.219.0/24

11.199.229.0/24