文档

实时数据消费概述

更新时间:

实时数据消费功能包含高速数据导入API和实时数据源消费两部分,可实现数据直接写入Segment(分片单元),避免通过COPY或INSERT方式造成的Master写入负载高的问题,也可实现使用AnalyticDB PostgreSQL版单产品直接消费Kafka数据。

功能简介

高速数据导入API

gRPC是由Google主导开发的高性能、开源的通用RPC框架。高速数据导入API利用gRPC协议作为客户端API,内部使用Segment直写技术实现了高效的数据传输。您可以通过API更灵活地控制数据写入和更新的过程。更多信息,请参见高速数据导入API

实时数据源消费

Kafka数据集成是实时分析功能的另一个组件,它允许AnalyticDB PostgreSQL版数据库实时地从Kafka Topic中消费数据。为您提供了一个强大的工具,用于结合流处理和批处理的数据分析。更多信息,请参见实时数据源集成

使用场景

  • 构建实时分析报表及其他实时分析应用。

  • 结合增量实时物化视图构建流批一体的实时数仓。

  • 在采用SQL方式写入数据(UPSERT或UPDATE)但性能不佳时,使用高速数据导入API获得更高吞吐的UPSERT性能。

  • 需要将Kafka Topic数据导入AnalyticDB PostgreSQL版,但不希望使用其他数据集成工具。

优势

  • 可直接消费Kafka数据,减少实时处理组件依赖。

  • 被写入数据不经过协调节点,而是直接通过计算节点写入,较大幅度提升写入吞吐。

  • 相较于SQL写入(UPSERT或UPDATE)方式,具有更高的性能。

  • 写入过程对Master几乎不产生负载。