数据湖Data Cache

功能介绍

在数据湖分析场景中，StarRocks 作为 OLAP 查询引擎需要频繁扫描 HDFS 或对象存储上的数据文件。针对即席查询（ad-hoc）等重复访问相同数据的场景，大量远端 I/O 会成为性能瓶颈。

StarRocks 自 v2.5 版本起提供数据湖 Data Cache 功能。该功能将外部存储的原始数据按 Block 切分后缓存至本地 BE 节点，避免重复拉取远端数据，提升热点数据的查询分析性能。

使用限制

• StarRocks v2.5 及以上版本支持数据湖 Data Cache，v3.3.0 起默认开启。

• 仅适用于外部表及 External Catalog 查询场景，不支持原生表查询。

• 支持使用 StarRocks Native File Reader 的 External Catalog 类型（如 Hive、Iceberg、Hudi、Delta Lake、Paimon），不支持基于 JNI 访问数据的 Catalog（如 JDBC Catalog）。

缓存介质

StarRocks 以 BE/CN 节点的内存和磁盘作为缓存存储介质，支持以下缓存模式：

• 全内存缓存：缓存速度最快，受限于内存容量。

• 内存 + 磁盘两级缓存：扩大缓存容量，兼顾性能与成本。

缓存淘汰机制

Data Cache 的内存和磁盘各自独立进行数据淘汰。当使用内存 + 磁盘两级缓存时，工作机制如下：

• 优先从内存读取数据；若内存未命中，则从磁盘读取，读取后尝试将数据加载至内存。

• 从内存淘汰的数据尝试写入磁盘；从磁盘淘汰的数据则被废弃。

StarRocks Data Cache 支持 LRU 和 SLRU（Segmented LRU）两种淘汰策略，默认使用 SLRU。

SLRU 将缓存空间分为淘汰段和保护段，均采用 LRU 策略：数据首次被访问时进入淘汰段；淘汰段中的数据再次被访问时，晋升至保护段；保护段中的数据被淘汰后重回淘汰段；淘汰段中的数据被淘汰后则移出缓存。与 LRU 相比，SLRU 能更好地抵御突发稀疏流量，保护高频访问数据不被一次性大规模查询直接淘汰。

开启和关闭 Data Cache

数据湖 Data Cache 由系统变量 enable_scan_datacache 和 BE 参数 datacache_enable 共同控制，v3.3.0 起默认开启。可通过以下 SQL 查询当前状态：

SHOW VARIABLES LIKE 'enable_scan_datacache';

主要配置参数如下：

如需禁用 Data Cache，执行以下命令：

SET GLOBAL enable_scan_datacache = false;

缓存填充规则

自 v3.3.2 起，为提高缓存命中率，StarRocks 按以下规则决定是否填充 Data Cache：

• 非 SELECT 查询（如 ANALYZE TABLE、INSERT INTO SELECT）不填充缓存。

• 扫描一张表的全部分区时不填充（仅有单个分区的表除外）。

• 扫描一张表的全部列时不填充（仅有单列的表除外）。

• 非 Hive、Paimon、Delta Lake、Hudi 或 Iceberg 的表不填充。

可通过 EXPLAIN VERBOSE 查看查询是否触发缓存填充：

EXPLAIN VERBOSE SELECT col1 FROM hudi_table;

返回结果中 dataCacheOptions={populate: false} 表示该查询不填充缓存。如需强制启用缓存填充，可设置：

SET populate_datacache_mode = 'always';

Footer Cache

StarRocks 支持缓存 Parquet Footer 对象，可通过以下系统变量启用：

SET GLOBAL enable_file_metacache = true;

I/O 自适应

当缓存磁盘 I/O 负载过高时，Data Cache 的 I/O 自适应功能会自动将部分缓存请求路由至远端存储，同时利用本地缓存和远端存储共同提升 I/O 吞吐，避免磁盘访问出现明显长尾延迟。该功能默认开启。如需手动启用：

SET GLOBAL enable_datacache_io_adaptor = true;

Data Cache 可观测性

information_schema.be_datacache_metrics 视图记录了各 BE 节点 Data Cache 的内存和磁盘容量及用量信息：

SELECT * FROM information_schema.be_datacache_metrics;

查看 SQL 缓存命中情况

在查询 Profile 中观测以下指标，可了解当前查询的 Data Cache 命中情况：