MaxCompute表的高级功能

MaxCompute为表和分区提供数据生命周期管理功能。表（分区）数据从最后一次更新时间算起，在指定的时间段（即生命周期）内如果没有变动，则此表（分区）将被MaxCompute自动回收。生命周期只能以表为单位进行设置。

--创建表test_lifecycle，指定其生命周期为100天。
create table test_lifecycle(key string) lifecycle 100;
--修改表test_lifecycle的生命周期为50天。
alter table test_lifecycle set lifecycle 50;

MaxCompute SQL提供TOUCH操作，将表或分区的LastModifiedTime值修改为当前时间。如果您使用TOUCH操作，MaxCompute会认为表或分区的数据有变动，生命周期的计算会重新开始，举例如下。

ALTER TABLE table_name TOUCH PARTITION(partition_col='partition_col_value', ...);

您可以参考如下建议避免产生小文件：

• Reduce计算过程产生的小文件：只需要Insert Overwrite源表（或分区）即可，或者写入到新表中再删除源表。

• Tunnel数据采集过程中产生小文件建议：

  • 调用Tunnel SDK时，每当缓存达到64MB时，进行一次提交。

  • 使用客户端时应避免频繁上传小文件，建议积累至一定的数量后再一次性上传。

  • 如果导入的是分区表，建议给分区表设置生命周期，过期不用的数据将会被自动清理。

  • 使用Insert Overwrite语句对源表（或分区）进行操作。

  • 使用ALTER合并模式时，通过客户端命令进行合并。

• 建议为临时表设置生命周期，在到期后垃圾回收机制会自动回收临时表。

• 申请过多的DataHub Shard将会产生小文件问题，以下是申请DataHub Shard数目时的策略：

  • 单个Shard的默认吞吐量是1MB/s，可以按照此数据分配实际的Shard数目（您也可以在此基础上多加几个）。

  • MaxCompute的每个Shard会有一个单独的Task，每隔5分钟或每满64MB，此Task会Commit一次，以提高在MaxCompute上查询数据的速度。当按照小时划分分区时，一个Shard每个小时将会产生12个文件。若此时数据量很少而Shard很多，则MaxCompute里就会出现很多小文件。

  • 应按需分配Shard，避免过度分配。

转化为Hash Clustering表的方法如下。

ALTER TABLE table_name [CLUSTERED BY (col_name [, col_name, ...]) [SORTED BY (col_name [ASC | DESC] [, col_name [ASC | DESC] ...])] INTO number_of_buckets BUCKETS]

创建完Hash Clustering表后，您可以使用Insert Overwrite语句将源表转化为Hash Clustering表。