实时数据消费概述

功能简介

高速数据导入API

gRPC是由Google主导开发的高性能、开源的通用RPC框架。高速数据导入API利用gRPC协议作为客户端API，内部使用Segment直写技术实现了高效的数据传输。您可以通过API更灵活地控制数据写入和更新的过程。更多信息，请参见高速数据导入API。

实时数据源消费

Kafka数据集成是实时分析功能的另一个组件，它允许AnalyticDB PostgreSQL版数据库实时地从Kafka Topic中消费数据。为您提供了一个强大的工具，用于结合流处理和批处理的数据分析。更多信息，请参见实时数据源集成。

使用场景

• 构建实时分析报表及其他实时分析应用。

• 结合增量实时物化视图构建流批一体的实时数仓。

• 在采用SQL方式写入数据（UPSERT或UPDATE）但性能不佳时，使用高速数据导入API获得更高吞吐的UPSERT性能。

• 需要将Kafka Topic数据导入AnalyticDB PostgreSQL版，但不希望使用其他数据集成工具。

优势

• 可直接消费Kafka数据，减少实时处理组件依赖。

• 被写入数据不经过协调节点，而是直接通过计算节点写入，较大幅度提升写入吞吐。

• 相较于SQL写入（UPSERT或UPDATE）方式，具有更高的性能。

• 写入过程对Master几乎不产生负载。