Paimon表自动存储优化

更新时间:
复制 MD 格式

本文介绍Paimon表的自动存储优化功能,包括小文件合并(Compaction)、过期快照清理、分区生命周期管理和废弃文件清理,帮助您降低表的使用和运维复杂度,提升计算和存储效率。

功能概览

优化策略

用途

触发方式

控制台入口

小文件合并(Compaction)

合并小文件,减少文件数量和元数据开销,提升查询效率。

数据写入提交(Commit)时由DLF自动触发。

存储优化 > Compaction

过期快照清理(Snapshot Expire)

清理超过保留时间的快照及其不再引用的数据文件,释放存储空间。

由DLF存储优化作业自动触发。

存储优化 > Snapshot Expire

分区生命周期管理(Partition LifeCycle)

自动清理过期分区,或按照规则转换分区数据的存储类型。

由DLF存储优化作业按照配置的规则执行。

存储优化 > Partition LifeCycle(仅分区表)

废弃文件清理(Orphan File Remove)

清理未被任何快照引用的文件,释放存储空间。

支持手动触发;开启自动清理后由系统执行。

存储优化 > Orphan File Remove

开启或关闭智能存储优化

  1. 登录数据湖构建控制台

  2. 在数据目录列表页面,单击Catalog名称。

  3. 在数据库页签中,单击目标数据库名称,查看数据表。

  4. 在表列表中,单击目标表名称,查看表字段信息。

  5. 单击存储优化页签,可看到智能存储优化开关默认开启,单击image开关,即可关闭。

小文件合并(Compaction)

在存储优化页签,单击Compaction,可以查看小文件合并的执行情况、桶伸缩(Rescale)记录和执行历史。

配置Compaction策略

在存储优化页签,依次单击Compaction、Compaction 策略和新增策略,根据需求配置策略模式。

动态资源模式(推荐)

系统根据实时负载自动弹性伸缩计算资源。此模式无需手动规划容量,适用于流量波动较大的场景。
支持三种配置偏好:

  • 资源延时均衡:在合并速度与资源消耗之间寻求最佳平衡点(默认选项)。

  • 延时优先:分配更多资源以最快速度完成合并,降低数据可见性延迟。

  • 资源优先:限制资源使用率以降低计算成本,允许稍长的合并耗时。

动态资源分配与扩缩容策略

在动态资源模式下,系统依据实时负载与数据特征,为主键表自动分配计算资源。资源分配量由以下核心因子决定,并在必要时触发自动扩缩容。

写入吞吐量
写入流量是资源分配的主要驱动力。写入流量越大,系统分配的计算资源越多,以保障数据摄入的稳定性。

活跃并发度
当前处于活跃状态的分区(Partition)与分桶(Bucket)数量直接决定资源需求。活跃的分区与分桶越多,系统将分配更多的并行处理资源。

高级功能的数据规模
当表启用了 deletion vectors(删除向量)或 lookup changelog producer 时,计算复杂度会提升。此时,活跃分区内的文件总大小越大,系统分配的资源越多。

数据行特征
极端的单行数据大小会增加处理开销。无论是单行数据过小(如包含大量空值)还是过大(如包含超长字符串字段),系统都会适当增加资源分配以维持处理性能。

小表资源优化策略

针对小规模数据表,系统采用共享机制以降低资源开销:

当表配置为 延迟分桶(bucket = -2)且未选择延时优先时,系统会将多个小表的优化任务合并为一个作业执行。这种多表共享机制能显著降低整体资源占用。

资源监控与排查

如需分析资源消耗情况,请前往数据目录 > 资源概览 > 资源请求指标明细中,查看 CU * Hours Top 表 榜单。

说明

如果发现单张表的资源用量异常偏高,通常是由于分区粒度过细所致。过细的分区策略会导致同时活跃的分区数量激增,从而迫使系统分配大量资源。建议检查并优化分区策略。

固定资源模式

用户手动指定用于 Compaction 的计算资源量。此模式适用于流量稳定或对成本控制有严格要求的场景。

  • 配置要求:计算资源(CU)配置不得低于 2 CU。

  • 参数设定:支持自定义 Compaction 触发间隔及 Bucket 数。

查看执行情况

可以查看当前表的优化执行情况,支持自定义配置云监控订阅告警,更多指标详情与配置步骤详情请参见配置湖表优化告警规则。

查看桶伸缩(Rescale)记录

记录数据表或特定分区的桶伸缩历史事件,反映表底层物理存储结构的变更情况。桶伸缩机制主要用于解决数据量变化带来的性能问题。通过桶伸缩记录,可以判断当前表是否正在进行桶伸缩而未进入Compaction流程。

查看执行历史

可以查看当前表的小文件合并的执行历史,它反映了系统如何处理碎片文件以优化读取性能和存储空间。可以通过此记录来判断:

  1. 确认任务运行:确保后台合并任务正常执行,防止小文件无限堆积。

  2. 评估压缩效率:通过对比合并前后的文件数和大小,评估当前的 Compaction 策略是否合理。

过期快照清理(Snapshot Expire)

在存储优化页签,单击Snapshot Expire,您可以配置快照清理规则并查看快照清理结果。

  • 配置快照清理规则

    单击编辑,您可以设置快照保留时间(默认为1小时),单击保存,完成配置。

  • 查看快照清理结果

    • 当前快照(Snapshot)个数:实时显示当前剩余的快照数量。

    • 最早快照信息:展示表中最早的快照详情,包括快照ID、提交时间、提交类型、表总行数以及本次提交增加的行数。

如需通过Paimon表参数调整快照过期时间,请参见清理过期数据。

分区生命周期管理(Partition LifeCycle)

在存储优化页签,单击Partition LifeCycle,您可以进行分区清理规则配置、查看分区清理结果、存储分层配置。

说明

Partition LifeCycle页签仅对Paimon分区表显示,非分区表不显示该页签。

存储分层配置

配置项

说明

智能存储分层

image开启后,系统将根据您配置的生命周期规则,自动对Catalog下所有分区表进行冷热分层。请根据业务需求填写分层策略和分层规则。

说明
  • 智能存储分层规则支持按Catalog、Database和Table层级继承。如果在Catalog级别开启智能分层,Database和Table级别可逐级继承配置。若在Table级别修改规则,则不再展示继承自上级。

  • 如果Catalog级别未开启智能分层,也支持在表级别开启和修改。

分层策略

  • 最后访问时间:根据表/分区数据最后访问时间,进行规则判断。

  • 最后更新时间:按照表/分区数据最后更新时间,进行规则判断。

分层规则

不同存储类型的最低存储时间要求不同。

您可选择性配置以下分层规则:

  • 转换至低频访问存储

    • 配置天数:自定义,默认30天。

      数据最后访问时间超过该天数后,将会自动转为低频存储。低频存储依旧可以被计算引擎访问,但性能会有所下降。

    • 被访问自动转标准存储:如果勾选,在表/分区被访问时,系统会自动将该分区或非分区表转换为标准存储。

      说明

      仅在分层策略选择最后访问时间时支持该功能。

  • 转换至归档存储

    • 配置天数:自定义,默认60天。

      数据最后访问时间超过该天数后,将会自动转为归档存储。归档存储的数据可在解冻后由计算引擎读取。

    • 被访问自动转标准存储:如果勾选,在表/分区被访问时,系统会自动将该分区或非分区表转为标准存储。

      说明

      仅在分层策略选择最后访问时间时支持该功能。

  • 转换至冷归档存储

    • 配置天数:自定义,默认180天。

      数据最后访问时间超过该天数后,将会自动转为冷归档存储。冷归档存储的数据需解冻后才能由计算引擎读取。

说明

如需手动修改表或分区的存储类型,请参见Paimon表存储类型管理。归档存储类型的数据也可以先解冻再读取,解冻状态持续时间可设置为1~7天。如需查看数据目录、数据库以及数据表的存储分层分布情况,请参见存储概览。

分区清理规则配置

分区清理规则支持在Catalog、Database和Table层级配置,下级规则可继承上级配置。

  1. 单击启用分区清理右侧的image开关,可启用分区清理。

  2. 启用分区清理后,您可根据业务需求进行以下规则配置,单击确定,完成配置。

    可以通过配置相应 table option 键值对来完成配置。

    配置项

    说明

    过期策略

    选择分区过期的判断依据。可选择以下过期策略:

    • 最后更新时间:按照最细粒度分区数据最后更新时间进行过期判断。

    • 最后访问时间:根据分区数据最近访问时间,进行过期判断。

    • 分区值:可以配置分区时间戳格式和分区字段模式。

      • 时间戳格式:可配置例如yyyy-MM-dd、yyyyMdd、dd/MM/yyyy、dd.MM.yyyy等。

      • 时间戳模式:默认取第一个分区字段,可配置例如 $dt 或者$year-$month-$day等。

    分区保留时间

    设置分区数据的保留时间。单位:天。可配置例如30d。最大可设置为999999天。分区保留时间根据所选过期策略,判定起始时间。

  3. (可选)保存之后,也可单击规则配置右侧的编辑,进行再次修改。

说明

若您希望永久保留分区,则无需配置分区过期清理规则,系统默认不会自动清理分区数据。

如需通过Paimon表参数设置分区过期时间,请参见设置分区过期时间。

查看分区清理结果

单击点击查看分区列表,可查看当前数据表的分区列表,包括分区名、行数(物理)、引用的文件个数、总文件大小、创建人、存储类型、最新更新人、创建时间、最近更新时间及操作。

废弃文件清理(Orphan File Remove)

在存储优化页签,单击Orphan File Remove。

您可以点击执行 orphan files 清理手动触发废弃文件清理。如需开启废弃文件自动清理,请在Catalog配置中添加auto-orphan-files-clean.enabled = true。存储优化后台会智能识别需要执行废弃文件清理的表,并定期自动触发清理。被清理的废弃文件会临时进入回收站(system.trash),保留时间可通过Catalog配置dlf.trashed-file-retained-days调整。