创建同步Hologres

更新时间:2024-12-24 10:18:19

本文为您介绍如何在DataHub中创建同步至HologresConnector,以及在创建时的注意事项以及问题。

准备工作

准备Hologres实例和表结构

使用Hologres管控台新建Hologres实例,DataHub同步Hologres时会根据DataHub Field的数据类型同步到对应的Hologres 表数据类型中,对应的类型映射关系如下所示:

DataHub

Hologres

DataHub

Hologres

TINYINT

SMALLINT

SMALLINT

SMALLINT

INTERGER

INTERGER

BIGINT

BIGINT

FLOAT

REAL

DOUBLE

DOUBLE PRECISION

DECIMAL

DECIMAL

STRING

TEXT

BOOLEAN

BOOLEAN

TIMESTAMP

TIMESTAMPTZ

说明

Hologres V2.0版本起支持DataHub TINYINTSMALLINTINTEGERFLOAT四种新数据类型。

创建同步任务

  1. 单击DataHub中已创建的Topic,进入Topic详情页。

  2. 单击Topic详情页右上角的image

  3. 在新建Connector界面单击Hologres,配置新建Connector弹框的参数,单击创建。

  4. 同步Hologres支持分区表,在Hologres创建分区表后,同步Hologres任务会自动根据分区字段进行数据同步。

    image

    同步参数说明

    参数

    描述

    说明

    参数

    描述

    说明

    Instance

    Hologres实例的ID。

    进入Hologres管理控制台,在左侧导航栏单击实例列表,查看已有实例ID

    DataBase

    Hologres的数据库名称。

    Table

    Hologres用于接收数据的表名称。

    主键同步策略

    Hologres表设置主键时,从DataHub写入的数据的同步策略。

    • replace:当写入发生主键冲突时,新的数据覆盖老数据。

    • ignore:写入时发生主键冲突,忽略新数据,即数据不更新,仍然使用老数据。

    同步场景

    DataHub同步到Hologres的同步模式。

    • default:将DataHub数据逐条写入Hologres。

    • dts_old:不启用新的附加列规则。

    • dts:启动新的附件列规则。

    导入字段

    需要导入Hologres的字段。

    可以根据实际业务需求选择导入部分或全部字段。

    鉴权模式

    默认为AK。

    AccessId

    访问Hologres实例的AccessKey ID。

    您可以单击AccessKey 管理,获取用户的AccessKey ID。

    AccessKey

    访问Hologres实例的AccessKey Secret。

    您可以单击AccessKey 管理,获取AccessKey Secret。

    起始时间

    同步Hologres的最早数据同步时间。

    TimestampUnit

    同步Hologres的时间单位。

    将数据中TIMESTAMP类型的数据(如果有),以TimestampUnit为单位进行转换后写入到下游系统的日期类型。

    说明
    • 同步场景中的(dts/dts_old)同步模式适用于数据由DTS写入到DataHub,然后同步到Hologres的场景

    • 新旧附加列说明请参考Hologres文档 DataHub导入

  5. 同步DataHub的数据至Hologres。

    成功创建Connector后,您可以在Topic详情页的同步任务中查看实时同步数据的状态。

    image

  6. Hologres查询数据。

    您可以连接Hologres实例至开发工具,实时查询同步至Hologres中的数据,详情请参见连接Hologres,示例查询语句如下。

    SELECT COUNT(*) FROM lineitem;

附录一:常见问题

创建同步报错

 ErrorCode=NoPermission; ErrorMessage=Rejected by IP whitelist

解决方法:Hologres支持在HoloWeb中设置IP白名单来进行访问管理,如遇此报错请检查是否在HoloWeb中设置了IP白名单。添加ip白名单操作详情见:IP白名单

附录二:白名单IP

以下IPDataHub同步至Hologres时,需在HoloWeb中添加的白名单。

Region

经典网白名单

Region

经典网白名单

华东1(杭州)

10.127.226.0/24 

10.32.103.0/24

10.32.104.0/24

10.32.175.0/24

10.32.177.0/24

10.32.94.0/24

10.32.95.0/24

10.32.96.0/24

10.32.97.0/24

10.32.98.0/24

10.32.99.0/24

10.88.7.0/24

11.117.164.0/24

11.117.165.0/24

11.117.166.0/24

11.117.167.0/24

11.197.10.0/24

11.197.14.0/24

11.197.15.0/24

11.197.16.0/24

华东2(上海)

11.217.75.0/24

11.222.38.0/24

11.222.93.0/24

11.223.69.0/24

华北2(北京)

11.204.155.0/24

11.204.158.0/24

11.204.161.0/24

11.204.162.0/24

11.218.245.0/24

11.220.203.0/24

11.220.204.0/24

11.220.216.0/24

11.220.217.0/24

11.220.237.0/24

11.220.238.0/24

11.220.240.0/24

11.220.242.0/24

11.223.107.0/24

华南1(深圳)

11.216.113.0/24

11.217.52.0/24

11.220.54.0/24

11.220.56.0/24

亚太东南1(新加坡)

11.216.101.0/24

11.219.129.0/24

政务云(北京)

11.199.246.0/24

11.199.247.0/24

华北 3(张家口)

11.218.202.0/24

11.218.203.0/24

亚太南部 1(孟买-印度)

11.207.230.0/24

11.207.231.0/24

11.207.248.0/24

亚太东南 3(吉隆坡-马来西亚)

11.204.39.0/24

11.204.40.0/24

11.204.41.0/24

11.48.249.0/24

11.48.250.0/24

中国香港

11.195.192.0/24

美国硅谷

11.199.218.0/24

11.199.219.0/24

11.199.229.0/24

  • 本页导读 (0)
  • 准备工作
  • 准备Hologres实例和表结构
  • 创建同步任务
  • 附录一:常见问题
  • 创建同步报错
  • 附录二:白名单IP
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等