本文为您介绍如何在DataHub中创建同步至Hologres的Connector,以及在创建时的注意事项以及问题。
准备工作
准备Hologres实例和表结构
使用Hologres管控台新建Hologres实例,DataHub同步Hologres时会根据DataHub Field的数据类型同步到对应的Hologres 表数据类型中,对应的类型映射关系如下所示:
DataHub | Hologres |
DataHub | Hologres |
TINYINT | SMALLINT |
SMALLINT | SMALLINT |
INTERGER | INTERGER |
BIGINT | BIGINT |
FLOAT | REAL |
DOUBLE | DOUBLE PRECISION |
DECIMAL | DECIMAL |
STRING | TEXT |
BOOLEAN | BOOLEAN |
TIMESTAMP | TIMESTAMPTZ |
Hologres V2.0版本起支持DataHub TINYINT
、SMALLINT
、INTEGER
和FLOAT
四种新数据类型。
创建同步任务
单击DataHub中已创建的Topic,进入Topic详情页。
单击Topic详情页右上角的
。
在新建Connector界面单击Hologres,配置新建Connector弹框的参数,单击创建。
同步Hologres支持分区表,在Hologres创建分区表后,同步Hologres任务会自动根据分区字段进行数据同步。
同步参数说明:
参数
描述
说明
参数
描述
说明
Instance
Hologres实例的ID。
进入Hologres管理控制台,在左侧导航栏单击实例列表,查看已有实例ID。
DataBase
Hologres的数据库名称。
无
Table
Hologres用于接收数据的表名称。
无
主键同步策略
当Hologres表设置主键时,从DataHub写入的数据的同步策略。
replace:当写入发生主键冲突时,新的数据覆盖老数据。
ignore:写入时发生主键冲突,忽略新数据,即数据不更新,仍然使用老数据。
同步场景
DataHub同步到Hologres的同步模式。
default:将DataHub数据逐条写入Hologres。
dts_old:不启用新的附加列规则。
dts:启动新的附件列规则。
导入字段
需要导入Hologres的字段。
可以根据实际业务需求选择导入部分或全部字段。
鉴权模式
默认为AK。
无
AccessId
访问Hologres实例的AccessKey ID。
您可以单击AccessKey 管理,获取用户的AccessKey ID。
AccessKey
访问Hologres实例的AccessKey Secret。
您可以单击AccessKey 管理,获取AccessKey Secret。
起始时间
同步Hologres的最早数据同步时间。
无
TimestampUnit
同步Hologres的时间单位。
将数据中TIMESTAMP类型的数据(如果有),以TimestampUnit为单位进行转换后写入到下游系统的日期类型。
同步场景中的(
dts
/dts_old
)同步模式适用于数据由DTS写入到DataHub,然后同步到Hologres的场景新旧附加列说明请参考Hologres文档 从DataHub导入。
同步DataHub的数据至Hologres。
成功创建Connector后,您可以在Topic详情页的同步任务中查看实时同步数据的状态。
Hologres查询数据。
您可以连接Hologres实例至开发工具,实时查询同步至Hologres中的数据,详情请参见连接Hologres,示例查询语句如下。
SELECT COUNT(*) FROM lineitem;
附录一:常见问题
创建同步报错
ErrorCode=NoPermission; ErrorMessage=Rejected by IP whitelist
解决方法:Hologres支持在HoloWeb中设置IP白名单来进行访问管理,如遇此报错请检查是否在HoloWeb中设置了IP白名单。添加ip白名单操作详情见:IP白名单。
附录二:白名单IP
以下IP为DataHub同步至Hologres时,需在HoloWeb中添加的白名单。
Region | 经典网白名单 |
Region | 经典网白名单 |
华东1(杭州) | 10.127.226.0/24 10.32.103.0/24 10.32.104.0/24 10.32.175.0/24 10.32.177.0/24 10.32.94.0/24 10.32.95.0/24 10.32.96.0/24 10.32.97.0/24 10.32.98.0/24 10.32.99.0/24 10.88.7.0/24 11.117.164.0/24 11.117.165.0/24 11.117.166.0/24 11.117.167.0/24 11.197.10.0/24 11.197.14.0/24 11.197.15.0/24 11.197.16.0/24 |
华东2(上海) | 11.217.75.0/24 11.222.38.0/24 11.222.93.0/24 11.223.69.0/24 |
华北2(北京) | 11.204.155.0/24 11.204.158.0/24 11.204.161.0/24 11.204.162.0/24 11.218.245.0/24 11.220.203.0/24 11.220.204.0/24 11.220.216.0/24 11.220.217.0/24 11.220.237.0/24 11.220.238.0/24 11.220.240.0/24 11.220.242.0/24 11.223.107.0/24 |
华南1(深圳) | 11.216.113.0/24 11.217.52.0/24 11.220.54.0/24 11.220.56.0/24 |
亚太东南1(新加坡) | 11.216.101.0/24 11.219.129.0/24 |
政务云(北京) | 11.199.246.0/24 11.199.247.0/24 |
华北 3(张家口) | 11.218.202.0/24 11.218.203.0/24 |
亚太南部 1(孟买-印度) | 11.207.230.0/24 11.207.231.0/24 11.207.248.0/24 |
亚太东南 3(吉隆坡-马来西亚) | 11.204.39.0/24 11.204.40.0/24 11.204.41.0/24 11.48.249.0/24 11.48.250.0/24 |
中国香港 | 11.195.192.0/24 |
美国硅谷 | 11.199.218.0/24 11.199.219.0/24 11.199.229.0/24 |
- 本页导读 (0)
- 准备工作
- 准备Hologres实例和表结构
- 创建同步任务
- 附录一:常见问题
- 创建同步报错
- 附录二:白名单IP