Fluss日志表性能白皮书

Fluss简介

Fluss是从零设计的湖流一体流存储系统，兼具高吞吐流写入和高效列式存储能力。区别于Kafka等传统消息系统仅支持行式数据传输，Fluss基于Apache Arrow列式存储格式，原生支持列裁剪和谓词下推，在流读场景下可实现数倍至数十倍的性能提升。

为什么与Kafka对比

Kafka广泛用于实时数仓的消息队列层，是缺少流存储时最常见的替代方案。本测试旨在验证以下三点：

1. 列裁剪优势：Fluss列式存储在部分列读取场景下的收益。

2. 冷热分离能力：Fluss分层存储在数据回追场景下的稳定性。

3. 基础流读写能力：Fluss是否能达到与Kafka同等的吞吐和延迟水平。

硬件配置

软件环境

测试框架

测试方法

• Fluss：创建一张16列表（8 BIGINT + 8 STRING），单个Bucket，预写入1亿条数据（约100 GB）。Flink任务1个并发读取。

• Kafka：创建一个主题，单个Partition，预写入1亿条数据（约100 GB）。Flink任务1个并发读取。

分别测试读取不同列数下的吞吐表现。

测试结果

结论

列裁剪场景下，Fluss读取STRING列可比Kafka快10倍以上，BIGINT列可达63.7倍。读取性能随裁剪比例倍数提升，同时大幅降低网络传输成本。

原因分析：

• Fluss基于Apache Arrow列式存储格式，支持在存储层只读取需要的列。

• Kafka为行式存储，无论读取几列都需传输整行数据。

测试方法

• Fluss：创建一张表，单个Bucket，预写入100 GB数据。本地仅保留2个Log Segment，绝大部分数据已同步到远程OSS存储。Flink任务1个并发读取。

• Kafka：创建一个主题，单个Partition，预写入100 GB数据，全量本地存储。Flink任务1个并发读取。

分别测试有无写入负载对冷读性能的影响。

测试结果

结论

• Fluss冷读直读OSS，冷热数据物理分离，冷读不干扰热数据读写。

• Kafka冷读受写入负载影响显著，吞吐下降29.1%。

• Fluss更适合数仓回追场景，提供更快且更稳定的回追能力。

测试方法

使用OpenMessaging Benchmark（OMB）框架，消息大小1 KB，通过阶梯速率测试两组配置：

• T1（单分片）：1个分片，4生产并发，1消费并发。阶梯速率200/250/300/350/400/450/500 K msg/s。

• T2（100分片）：100个分片，4生产并发，4消费并发。阶梯速率200/250/300/350/400 K msg/s。

T1测试结果：单分片

单位：K msg/s

T2测试结果：100分片

单位：K msg/s

结论

在基础日志读写场景下，Fluss与Kafka均能稳定达到目标吞吐水平，基础流处理能力相当。