数据同步概述

更新时间:2024-08-16 08:40:38

实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓,与大数据生态无缝连接,支持高并发地实时写入,数据写入即可查,同时也支持离线数据的加速查询、实时数据和离线数据联邦分析,助力快速搭建企业级实时数仓。

Hologres数据同步说明

Hologres有着非常庞大的生态家族,支持多种异构数据源的离线、实时写入。

  • 对于开源大数据:Hologres支持当下最流行的大数据开源组件,其中包括Flink、BlinkSpark等,通过内置的Hologres Connector实现高并发实时写入。

  • 对于数据库类数据:HologresDataWorks数据集成(DataXStreamX)深度集成,支持通过Hologres WriterHologres Reader,实现方便高效地将多种数据库数据离线、实时、整库同步至Hologres中,满足各类企业数据同步迁移的需求。

无论是实时数据,还是离线数据,同步至Hologres之后就能使用Hologres对数据进行多维分析,例如通过JDBC或者ODBC对数据进行查询、分析、监控,然后直接承接上游的业务例如大屏、报表、应用等可视化展现,实现数据从写入到服务分析一体化。具体使用流程如下所示:操作流程

常见同步方案

常见数据源同步数据至Hologres的同步方式支持情况如下表所示,您可以根据业务情况选择合适的同步方式。

常见数据源

Hologres内置同步方案

DataWorks数据集成方式同步数据

Flink方式同步数据

常见数据源

Hologres内置同步方案

DataWorks数据集成方式同步数据

Flink方式同步数据

MaxCompute

支持(推荐,SQL命令)

支持

支持

OSS

支持(推荐,SQL命令)

支持

不支持

本地文件

支持(Copy命令)

不支持

不支持

MySQL等数据库

不支持

支持(推荐)

支持

Kafka

不支持

支持

支持

DataHub

支持(Hologres数据源直接写入)

支持

支持

开源Connector支持

Hologres支持丰富的同步Connector如下表所示,并且这些Connector已经开源,请您根据业务情况自行选用。

Connector名称

适用场景

Connector名称

适用场景

Holo Client

适用于大批量数据写入(批量、实时同步至Hologres)和高QPS点查(维表关联)场景,基于JDBC实现,也提供C语言和GO语言版本。

Holo Shipper

将实例部分表导入导出的备份工具,适用于实例迁移或者数据库数据迁移的场景,也可以dump至中间存储再恢复。

Holo-datax-writer

适配开源DataX,依赖DataX框架,适用开源DataX将多种数据源写入Hologres,相比PostgreSQL Writer性能更好。

Holo-flink-connector

对接开源Flink,Flink版本包括1.11、1.12、1.13以及后续版本,实现高性能实时写入。

说明

阿里云Flink支持Hologres数据源,可以直接写入,无需引用connector。

Holo-Kafka-connector

适用于Kafka直接写入Hologres的场景。

Holo-Spark-connector

适用于Spark(社区版以及阿里云EMR Spark版)写入Hologres的场景,支持Spark2.x、3.x及以上版本,提供高性能的写入。

Holo-Hive-connector

适用于Hive写入Hologres的场景,支持Hive2.x、3.x及以上版本,提供高性能的写入。

  • 本页导读 (1)
  • Hologres数据同步说明
  • 常见同步方案
  • 开源Connector支持
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等