如何通将Kafka数据实时同步至Hologres_实时数仓 Hologres(Hologres)-阿里云帮助中心

本文为您介绍如何将Kafka数据实时同步至Hologres。

背景信息

Kafka 是一款高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景。Hologres与大数据生态无缝打通，您可以通过DataWorks数据集成、Flink以及Hologres Connector等多种方式将Kafka数据实时同步至Hologres，再进行高并发低延时的查询分析处理。相关原理请参见Kafka Reader和Hologres Writer。

Kafka通过DataWorks实时同步

DataWorks数据集成通过Kafka服务的Java SDK从Kafka读取数据，再实时同步至Hologres。

说明

更多DataWorks相关内容，请参见DataWorks入门概述。

配置数据源
在同步数据之前需要先配置输入数据源Kafka和输出数据源Hologres，详情请参见：
- 配置Kafka数据源。
- 配置Hologres数据源。
配置同步任务
配置数据源成功之后，可以配置同步任务将Kafka的数据实时同步至Hologres，详情请参见：
- 配置Kafka输入。
- 配置Hologres输出。
查询数据
任务同步成功之后，可以在Hologres中查询到已同步的数据。

Kafka通过Flink实时同步

Kafka也可以通过Flink初步清洗汇总指标再实时同步至Hologres，详情请参见Flink全托管。

Kafka通过Hologres Connector写入

还可以通过Hologres Connector直接将Kafka数据写入Hologres，详情请参见Kafka写入Hologres。