本文介绍Paimon表的自动存储优化功能,包括小文件合并(Compaction)、过期快照清理、分区生命周期管理和废弃文件清理,帮助您降低表的使用和运维复杂度,提升计算和存储效率。
功能概览
优化策略 | 用途 | 触发方式 | 控制台入口 |
合并小文件,减少文件数量和元数据开销,提升查询效率。 | 数据写入提交(Commit)时由DLF自动触发。 | 存储优化 > Compaction | |
清理超过保留时间的快照及其不再引用的数据文件,释放存储空间。 | 由DLF存储优化作业自动触发。 | 存储优化 > Snapshot Expire | |
自动清理过期分区,或按照规则转换分区数据的存储类型。 | 由DLF存储优化作业按照配置的规则执行。 | 存储优化 > Partition LifeCycle(仅分区表) | |
清理未被任何快照引用的文件,释放存储空间。 | 支持手动触发;开启自动清理后由系统执行。 | 存储优化 > Orphan File Remove |
开启或关闭智能存储优化
登录数据湖构建控制台
在数据目录列表页面,单击Catalog名称。
在数据库页签中,单击目标数据库名称,查看数据表。
在表列表中,单击目标表名称,查看表字段信息。
单击存储优化页签,可看到智能存储优化开关默认开启,单击
开关,即可关闭。
小文件合并(Compaction)
在存储优化页签,单击Compaction,可以查看小文件合并的执行情况、桶伸缩(Rescale)记录和执行历史。
配置Compaction策略
在存储优化页签,依次单击Compaction、Compaction 策略和新增策略,根据需求配置策略模式。
动态资源模式(推荐)
系统根据实时负载自动弹性伸缩计算资源。此模式无需手动规划容量,适用于流量波动较大的场景。
支持三种配置偏好:
资源延时均衡:在合并速度与资源消耗之间寻求最佳平衡点(默认选项)。
延时优先:分配更多资源以最快速度完成合并,降低数据可见性延迟。
资源优先:限制资源使用率以降低计算成本,允许稍长的合并耗时。
动态资源分配与扩缩容策略
固定资源模式
用户手动指定用于 Compaction 的计算资源量。此模式适用于流量稳定或对成本控制有严格要求的场景。
配置要求:计算资源(CU)配置不得低于 2 CU。
参数设定:支持自定义 Compaction 触发间隔及 Bucket 数。
查看执行情况
可以查看当前表的优化执行情况,支持自定义配置云监控订阅告警,更多指标详情与配置步骤详情请参见配置湖表优化告警规则。
查看桶伸缩(Rescale)记录
记录数据表或特定分区的桶伸缩历史事件,反映表底层物理存储结构的变更情况。桶伸缩机制主要用于解决数据量变化带来的性能问题。通过桶伸缩记录,可以判断当前表是否正在进行桶伸缩而未进入Compaction流程。
查看执行历史
可以查看当前表的小文件合并的执行历史,它反映了系统如何处理碎片文件以优化读取性能和存储空间。可以通过此记录来判断:
确认任务运行:确保后台合并任务正常执行,防止小文件无限堆积。
评估压缩效率:通过对比合并前后的文件数和大小,评估当前的 Compaction 策略是否合理。
过期快照清理(Snapshot Expire)
在存储优化页签,单击Snapshot Expire,您可以配置快照清理规则并查看快照清理结果。
配置快照清理规则
单击编辑,您可以设置快照保留时间(默认为1小时),单击保存,完成配置。
查看快照清理结果
当前快照(Snapshot)个数:实时显示当前剩余的快照数量。
最早快照信息:展示表中最早的快照详情,包括快照ID、提交时间、提交类型、表总行数以及本次提交增加的行数。
如需通过Paimon表参数调整快照过期时间,请参见清理过期数据。
分区生命周期管理(Partition LifeCycle)
在存储优化页签,单击Partition LifeCycle,您可以进行分区清理规则配置、查看分区清理结果、存储分层配置。
Partition LifeCycle页签仅对Paimon分区表显示,非分区表不显示该页签。
存储分层配置
配置项 | 说明 |
智能存储分层 |
说明
|
分层策略 |
|
分层规则 | 不同存储类型的最低存储时间要求不同。 您可选择性配置以下分层规则:
|
如需手动修改表或分区的存储类型,请参见Paimon表存储类型管理。归档存储类型的数据也可以先解冻再读取,解冻状态持续时间可设置为1~7天。如需查看数据目录、数据库以及数据表的存储分层分布情况,请参见存储概览。
分区清理规则配置
分区清理规则支持在Catalog、Database和Table层级配置,下级规则可继承上级配置。
单击启用分区清理右侧的
开关,可启用分区清理。启用分区清理后,您可根据业务需求进行以下规则配置,单击确定,完成配置。
可以通过配置相应 table option 键值对来完成配置。
配置项
说明
过期策略
选择分区过期的判断依据。可选择以下过期策略:
最后更新时间:按照最细粒度分区数据最后更新时间进行过期判断。
最后访问时间:根据分区数据最近访问时间,进行过期判断。
分区值:可以配置分区时间戳格式和分区字段模式。
时间戳格式:可配置例如
yyyy-MM-dd、yyyyMdd、dd/MM/yyyy、dd.MM.yyyy等。时间戳模式:默认取第一个分区字段,可配置例如
$dt或者$year-$month-$day等。
分区保留时间
设置分区数据的保留时间。单位:天。可配置例如
30d。最大可设置为999999天。分区保留时间根据所选过期策略,判定起始时间。(可选)保存之后,也可单击规则配置右侧的编辑,进行再次修改。
若您希望永久保留分区,则无需配置分区过期清理规则,系统默认不会自动清理分区数据。
如需通过Paimon表参数设置分区过期时间,请参见设置分区过期时间。
查看分区清理结果
单击点击查看分区列表,可查看当前数据表的分区列表,包括分区名、行数(物理)、引用的文件个数、总文件大小、创建人、存储类型、最新更新人、创建时间、最近更新时间及操作。
废弃文件清理(Orphan File Remove)
在存储优化页签,单击Orphan File Remove。
您可以点击执行 orphan files 清理手动触发废弃文件清理。如需开启废弃文件自动清理,请在Catalog配置中添加auto-orphan-files-clean.enabled = true。存储优化后台会智能识别需要执行废弃文件清理的表,并定期自动触发清理。被清理的废弃文件会临时进入回收站(system.trash),保留时间可通过Catalog配置dlf.trashed-file-retained-days调整。
开启后,系统将根据您配置的生命周期规则,自动对Catalog下所有分区表进行冷热分层。请根据业务需求填写分层策略和分层规则。