访问湖流一体表

更新时间:
复制 MD 格式

湖流一体表通过统一的元数据层,实现对实时增量数据(Fluss)与历史全量数据(Paimon)的透明访问。可根据业务需求,灵活选择实时流读、离线批读或混合读取模式。

支持的查询引擎

湖流一体表的访问兼容性取决于访问方式。

访问方式

说明

支持的引擎

Fluss 原生访问(含 Union Read)

充分利用湖流一体的混合读取能力,实现流批统一。

Flink

底层 Paimon 访问($lake 后缀)

直接访问底层 Paimon 格式存储,支持多引擎分析。

Flink、Spark、Trino、StarRocks 等所有兼容 Paimon 的引擎

通过 StarRocks 访问

完成 Fluss Catalog 的创建和配置后(详见引擎对接 - StarRocks),可通过以下方式查询湖流一体表中的数据。

查询湖上数据

StarRocks 通过 $lake 后缀直接访问底层 Paimon 存储的全量历史数据。

-- 查询底层 Paimon 存储的全量数据
SELECT * FROM <catalog_name>.<database_name>.<table_name>$lake;

查询流上数据

StarRocks 通过 $rt 后缀直接查询 Fluss 中尚未归档至数据湖的实时增量数据。

-- 查询 Fluss 层的实时增量数据
SELECT * FROM <catalog_name>.<database_name>.<table_name>$rt;

查询全部数据(Union Read)

不加任何后缀时,StarRocks 自动合并 Fluss 层(热数据)与 Paimon 层(冷数据),返回完整的最新数据视图。

-- 自动合并冷热数据,返回全量最新数据
SELECT * FROM <catalog_name>.<database_name>.<table_name>;