Iceberg表自动存储优化

更新时间:
复制 MD 格式

DLF 为 Iceberg 表提供自动存储优化能力,包括小文件合并(Compaction)与过期快照清理。开启后由 DLF 后台自动调度执行,无需用户运维任何作业,有效降低存储成本并提升查询性能。

前提条件

已在 DLF 中创建 Iceberg 表。具体操作请参见Iceberg Table

使用限制

  • 暂不支持 Iceberg V3 格式表和孤儿文件清理。

说明

对于上述场景,可通过 EMR Serverless Spark 手动执行存储治理。具体操作请参见使用EMR Serverless Spark执行Iceberg表存储治理

开启存储优化

  1. 登录数据湖构建控制台

  2. 在左侧导航栏,选择 数据目录,依次选择目标 Catalog > 数据库 > 表。

  3. 在目标 Iceberg 表,单击 存储优化 页签。

  4. 打开 智能存储优化 开关。

开启后,DLF 将自动调度执行 Compaction 与过期快照清理任务。存储优化功能默认关闭。

Compaction(小文件合并)

Compaction 用于将表中的小文件合并为接近目标大小的文件,减少文件数量,从而降低元数据开销、提升查询性能。

  • 执行方式:开启存储优化后,由 DLF 后台自动调度执行,无需用户运维任何作业。

  • 目标文件大小:由表属性 write.target-file-size-bytes 控制,默认值为 512 MB。

Snapshot Expire(过期快照清理)

过期快照清理随存储优化作业自动执行,用于删除超过保留时长的历史快照,释放存储空间。

快照保留策略遵循 Iceberg 标准表属性,支持以下参数:

说明

默认值

快照保留时长

5 天

最少保留快照数

1

快照保留时间可在 Snapshot Expire 页签下的 快照清理规则配置 配置。