本文为您介绍如何在DLF控制台使用Paimon的过期分区清理功能,Catalog、数据库和数据表均支持过期分区清理,以下操作以Catalog为例。
前提条件
使用存储优化功能前,需要先开通存储优化服务,并添加计算资源。详情请参见存储优化。
启用过期分区清理
登录数据湖构建控制台。
在Catalog列表页面,单击Catalog名称。
单击存储优化页签,单击PartitionExpire策略旁的按钮。
再次单击按钮,可停用过期分区清理。
在弹出的对话框中,配置以下信息。
分区保留时间:必填,需要大于等于1,单位为天。
过期时间判断依据:必选,可选分区值、分区更新时间。
时间戳格式和模式:选择分区值时,参数必填,例如yyyy-MM-dd和$dt、yyyy-MM-dd HH:mm和$dt $hm,$dt和$hm为列名。
选择计算资源。
单击确定。
说明
Catalog下的数据库可以选择继承Catalog的策略,也可以独立配置策略。
数据库下的数据表可以选择继承数据库的策略,也可以独立配置策略。
策略执行与调度
在Catalog列表页面,单击Catalog名称。
在存储优化页签,单击立即执行,可以立即执行一次过期分区清理。
也可单击调度配置,配置调度周期、调度时间、生效日期,周期性执行过期分区清理。
优化效果展示
说明
在Catalog、数据库和数据表下,分别展示的是Catalog下所有表、数据库下所有表和当前表的优化效果。
在Catalog列表页面,单击Catalog名称。
在存储优化页签,可以查看优化效果,包括已清理分区对应存储量、已清理分区个数和已清理文件个数。
执行历史展示
说明
只会展示当前Catalog、数据库和数据表的过期分区清理执行历史。
在Catalog列表页面,单击Catalog名称。
在存储优化页签,可以查看最新执行历史。
文档内容是否对您有帮助?