本文为您介绍如何将Kafka数据实时同步至Hologres。
背景信息
Kafka 是一款高吞吐量、高可扩展性的分布式消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景。Hologres与大数据生态无缝打通,您可以通过DataWorks数据集成、Flink以及Hologres Connector等多种方式将Kafka数据实时同步至Hologres,再进行高并发低延时的查询分析处理。相关原理请参见Kafka Reader和Hologres Writer。
Kafka通过DataWorks实时同步
DataWorks数据集成通过Kafka服务的Java SDK从Kafka读取数据,再实时同步至Hologres。
说明
更多DataWorks相关内容,请参见DataWorks入门概述。
配置数据源
在同步数据之前需要先配置输入数据源Kafka和输出数据源Hologres,详情请参见:
配置同步任务
配置数据源成功之后,可以配置同步任务将Kafka的数据实时同步至Hologres,详情请参见:
查询数据
任务同步成功之后,可以在Hologres中查询到已同步的数据。
Kafka通过Flink实时同步
Kafka也可以通过Flink初步清洗汇总指标再实时同步至Hologres,详情请参见Flink全托管。
Kafka通过Hologres Connector写入
还可以通过Hologres Connector直接将Kafka数据写入Hologres,详情请参见Kafka写入Hologres。
文档内容是否对您有帮助?