清理过期数据

注意事项

仅实时计算引擎VVR 8.0.5及以上版本支持Paimon表。

调整快照文件过期时间

随着快照文件不断产生，历史数据占用的存储空间也将逐渐增加。因此，我们需要清理不再使用的快照文件，以释放该快照文件指向的历史数据文件，从而释放存储空间。

以下参数决定了快照文件的过期时间。您可以通过ALTER TABLE语句修改这些参数，也可以在写入作业中通过SQL Hints临时修改这些参数，详情请参见管理Paimon Catalog。

在当前快照文件数量多于snapshot.num-retained.min的前提下，只要当前快照文件数量多于snapshot.num-retained.max，或最早的快照文件产出时间超过了snapshot.time-retained，就会触发快照清理。

设置分区过期时间

如果您的业务只关心最近一段时间内的数据，您可以按时间对数据进行分区，并设置分区过期时间以自动删除过于久远的历史分区，从而释放存储空间。

分区过期行为由下表三个表参数共同决定。您可以通过ALTER TABLE语句修改这些参数，也可以在写入作业中通过SQL Hints临时修改这些参数，详情请参见管理Paimon Catalog。

当分区的存活时长超过分区的过期时间参数值时，该分区将被删除。分区的存活时长等于当前系统时间减去分区值转化后的时间戳。分区值转化成时间戳的逻辑如下：

1. 通过partition.timestamp-pattern参数指定的格式串，将一个分区值转换为时间字符串。

2. 通过partition.timestamp-formatter参数指定的格式串，将时间字符串转换为时间戳。

例如：

• 假设分区列由dt一列组成，可以设置'partition.timestamp-pattern' = '$dt'将分区dt=20240308转化为字符串20240308，设置'partition.timestamp-formatter' = 'yyyyMMdd'将该字符串转换为时间戳。

• 假设分区列由year、month和day三列组成，可以设置'partition.timestamp-pattern' = '$year-$month-$day'，将分区year=2023,month=04,day=21转化为字符串2023-04-21。此时不需要设置partition.timestamp-formatter，因为该字符串符合默认格式之一的yyyy-MM-dd。

• 假设分区列由year、month、day和hour四列组成，可以设置'partition.timestamp-pattern' = '$year-$month-$day $hour:00:00'，将分区year=2023,month=04,day=21,hour=17转换为字符串 2023-04-21 17:00:00。此时不需要设置partition.timestamp-formatter，因为该字符串符合默认格式之一的yyyy-MM-dd HH:mm:ss。

清理废弃文件

由于作业报错重启等原因，Paimon表目录下可能会遗留一些未被提交的临时文件。这些废弃文件无法通过快照过期删除，需要手动执行以下步骤进行清理。清理的操作步骤如下：

1. 在实时计算控制台上，新建查询脚本，详情请参见查询脚本。

2. 在文本编辑区域，输入以下SQL语句。

   CALL `<catalog-name>`.sys.remove_orphan_files('<database-name>.<table-name>');

   其中，<catalog-name>是Paimon Catalog的名称，<database-name>是需要清理的 Paimon表所在的Database的名称，<table-name>是需要清理的Paimon表的名称。

   默认情况下，清理废弃文件只清理创建时间超过1天的废弃文件。您可以额外传入时间参数，指定创建时间的上限。例如，下面代码示例展示了清理mycat.mydb.mytbl表中，创建时间不早于2023-10-31 12:00:00的废弃文件。

   CALL `mycat`.sys.remove_orphan_files('mydb.mytbl', '2023-10-31 12:00:00');

3. 选中SQL代码后，单击左侧代码行数上的运行。

   清理完成后，下方的结果选项卡会显示删除文件的总数。

相关文档

• 如果您需要了解Paimon主键表的常用优化，详情请请见Paimon性能优化。

• Paimon表的消费依赖快照文件，快照过期时间太短或消费作业效率低会导致正在消费的快照文件因过期被删除，消费作业出现File xxx not found, Possible causes报错，解决方法请参见读Paimon作业出现File xxx not found, Possible causes。