准备工作
1. 准备Hologres实例和表结构
使用Hologres管控台新建Hologres实例,DataHub同步Hologres时会根据DataHub Field的数据类型同步到对应的Hologres 表数据类型中,对应的类型映射关系如下所示:
DataHub | Hologres |
TINYINT | SMALLINT |
SMALLINT | SMALLINT |
INTERGER | INTERGER |
BIGINT | BIGINT |
FLOAT | REAL |
DOUBLE | DOUBLE PRECISION |
DECIMAL | DECIMAL |
STRING | TEXT |
BOOLEAN | BOOLEAN |
TIMESTAMP | TIMESTAMPTZ |
同步说明:
Hologres V2.0版本起支持DataHub TINYINT、SMALLINT、INTEGER和FLOAT四种新数据类型
创建同步任务
单击DataHub中已创建的Topic,进入Topic详情页。
单击Topic详情页右上角的+同步。
在新建Connector界面单击Hologres,配置新建Connector弹框的参数,单击创建。
同步Hologres支持分区表,在Hologres创建分区表后,同步Hologres任务会自动根据分区字段进行数据同步
同步参数说明:
参数 | 描述 | 说明 |
Instance | Hologres实例的ID。 | 进入Hologres管理控制台的,获取实例ID。 |
DataBase | Hologres的数据库名称。 | 无 |
Table | Hologres用于接收数据的表名称。 | 无 |
主键同步策略 | 当Hologres表设置主键时,从DataHub写入的数据的同步策略 |
|
同步场景 | DataHub同步到Hologres的同步模式 |
|
导入字段 | 需要导入Hologres的字段。 | 可以根据实际业务需求选择导入部分或全部字段。 |
鉴权模式 | 默认为AK。 | 无 |
AccessId | 访问Hologres实例的AccessKey ID。 | 您可以单击AccessKey 管理,获取用户的AccessKey ID。 |
AccessKey | 访问Hologres实例的AccessKey Secret。 | 您可以单击AccessKey 管理,获取AccessKey Secret。 |
起始时间 | 同步Hologres的最早数据同步时间 | 无 |
TimestampUnit | 同步Hologres的时间单位 | 将数据中TIMESTAMP类型的数据(如果有),以TimestampUnit为单位进行转换后写入到下游系统的日期类型 |
同步场景中的(dts/dts_old)同步模式适用于数据由DTS写入到DataHub,然后同步到Hologres的场景
新旧附加列说明请参考Hologres文档 实时同步DataHub的数据至Hologres
同步DataHub的数据至Hologres
成功创建Connector后,您可以在Topic详情页的数据同步中查看实时同步数据的状态。
Hologres查询数据
您可以连接Hologres实例至开发工具,实时查询同步至Hologres中的数据,详情请参见概述。示例查询语句如下。
SELECT COUNT(*) FROM lineitem;
常见问题
Q: 创建同步报错
ErrorCode=NoPermission; ErrorMessage=Rejected by IP whitelist
A: Hologres支持在HoloWeb中设置IP白名单来进行访问管理,如遇此报错请检查是否再HoloWeb中设置了IP白名单。添加ip白名单操作详情见:ip白名单
附:使用DataHub同步Hologres需要在数据库添加的IP白名单
Region | 经典网白名单 |
华东1(杭州) | 10.127.226.0/24 10.32.103.0/24 10.32.104.0/24 10.32.175.0/24 10.32.177.0/24 10.32.94.0/24 10.32.95.0/24 10.32.96.0/24 10.32.97.0/24 10.32.98.0/24 10.32.99.0/24 10.88.7.0/24 11.117.164.0/24 11.117.165.0/24 11.117.166.0/24 11.117.167.0/24 11.197.10.0/24 11.197.14.0/24 11.197.15.0/24 11.197.16.0/24 |
华东2(上海) | 11.217.75.0/24 11.222.38.0/24 11.222.93.0/24 11.223.69.0/24 |
华北2(北京) | 11.204.155.0/24 11.204.158.0/24 11.204.161.0/24 11.204.162.0/24 11.218.245.0/24 11.220.203.0/24 11.220.204.0/24 11.220.216.0/24 11.220.217.0/24 11.220.237.0/24 11.220.238.0/24 11.220.240.0/24 11.220.242.0/24 11.223.107.0/24 |
华南1(深圳) | 11.216.113.0/24 11.217.52.0/24 11.220.54.0/24 11.220.56.0/24 |
亚太东南1(新加坡) | 11.216.101.0/24 11.219.129.0/24 |
政务云(北京) | 11.199.246.0/24 11.199.247.0/24 |
华北 3(张家口) | 11.218.202.0/24 11.218.203.0/24 |
亚太南部 1(孟买-印度) | 11.207.230.0/24 11.207.231.0/24 11.207.248.0/24 |
亚太东南 3(吉隆坡-马来西亚) | 11.204.39.0/24 11.204.40.0/24 11.204.41.0/24 11.48.249.0/24 11.48.250.0/24 |
中国香港 | 11.195.192.0/24 |
美国硅谷 | 11.199.218.0/24 11.199.219.0/24 11.199.229.0/24 |