过期分区清理

本文为您介绍如何在DLF控制台使用Paimon的过期分区清理功能,Catalog、数据库和数据表均支持过期分区清理,以下操作以Catalog为例。

前提条件

使用存储优化功能前,需要先开通存储优化服务,并添加计算资源。详情请参见存储优化

启用过期分区清理

  1. 登录数据湖构建控制台

  2. Catalog列表页面,单击Catalog名称。

  3. 单击存储优化页签,单击PartitionExpire策略旁的image按钮。

    再次单击image按钮,可停用过期分区清理。

  4. 在弹出的对话框中,配置以下信息。

    image

    • 分区保留时间:必填,需要大于等于1,单位为天。

    • 过期时间判断依据:必选,可选分区值、分区更新时间。

    • 时间戳格式和模式:选择分区值时,参数必填,例如yyyy-MM-dd和$dt、yyyy-MM-dd HH:mm和$dt $hm,$dt和$hm为列名。

    • 选择计算资源

  5. 单击确定

说明
  • Catalog下的数据库可以选择继承Catalog的策略,也可以独立配置策略。

  • 数据库下的数据表可以选择继承数据库的策略,也可以独立配置策略。

策略执行与调度

  1. Catalog列表页面,单击Catalog名称。

  2. 存储优化页签,单击立即执行,可以立即执行一次过期分区清理。

  3. 也可单击调度配置,配置调度周期、调度时间、生效日期,周期性执行过期分区清理。

优化效果展示

说明

在Catalog、数据库和数据表下,分别展示的是Catalog下所有表、数据库下所有表和当前表的优化效果。

  1. Catalog列表页面,单击Catalog名称。

  2. 存储优化页签,可以查看优化效果,包括已清理分区对应存储量、已清理分区个数和已清理文件个数。

执行历史展示

说明

只会展示当前Catalog、数据库和数据表的过期分区清理执行历史。

  1. Catalog列表页面,单击Catalog名称。

  2. 存储优化页签,可以查看最新执行历史