DLF 为 Iceberg 表提供自动存储优化能力,包括小文件合并(Compaction)与过期快照清理。开启后由 DLF 后台自动调度执行,无需用户运维任何作业,有效降低存储成本并提升查询性能。
前提条件
已在 DLF 中创建 Iceberg 表。具体操作请参见Iceberg Table。
使用限制
暂不支持 Iceberg V3 格式表和孤儿文件清理。
说明
对于上述场景,可通过 EMR Serverless Spark 手动执行存储治理。具体操作请参见使用EMR Serverless Spark执行Iceberg表存储治理。
开启存储优化
登录数据湖构建控制台
在左侧导航栏,选择 数据目录,依次选择目标 Catalog > 数据库 > 表。
在目标 Iceberg 表,单击 存储优化 页签。
打开 智能存储优化 开关。
开启后,DLF 将自动调度执行 Compaction 与过期快照清理任务。存储优化功能默认关闭。
Compaction(小文件合并)
Compaction 用于将表中的小文件合并为接近目标大小的文件,减少文件数量,从而降低元数据开销、提升查询性能。
执行方式:开启存储优化后,由 DLF 后台自动调度执行,无需用户运维任何作业。
目标文件大小:由表属性
write.target-file-size-bytes控制,默认值为 512 MB。
Snapshot Expire(过期快照清理)
过期快照清理随存储优化作业自动执行,用于删除超过保留时长的历史快照,释放存储空间。
快照保留策略遵循 Iceberg 标准表属性,支持以下参数:
说明 | 默认值 |
快照保留时长 | 5 天 |
最少保留快照数 | 1 |
快照保留时间可在 Snapshot Expire 页签下的 快照清理规则配置 配置。
该文章对您有帮助吗?