优化MaxCompute外部表的查询性能

• 查询数据时使用select a from xx语句查询指定内容。
• 增加过滤分区的条件或减少扫描的分区数，实现减少扫描的数据量。

• 转换MaxCompute表为Hash Clustering表。

  Hash Clustering表可以优化Bucket Pruning、Aggregation以及存储。

  创建MaxCompute表时，如果使用Clustered By指定了Hash Key，则MaxCompute对指定列进行Hash运算，并分散Hash值至各个Bucket中。如果没有指定Hash Key，则使用如下语句指定。

  ALTER TABLE table_name [CLUSTERED BY (col_name [, col_name, ...]) [SORTED BY (col_name [ASC | DESC] [, col_name [ASC | DESC] ...])] INTO number_of_buckets BUCKETS]

  请选择重复键值少的列作为Hash Key。

  ALTER TABLE语句适用于指定存量表的Hash Key。

  新增聚集属性后，新的分区数据写入MaxCompute时直接执行Hash Clustering计算。同时，您可以使用INSERT OVERWRITE语句对原有的源表数据执行Hash Clustering计算。

  说明

  • Hash Clustering表不支持INSERT INTO语句，您需要使用INSERT OVERWRITE语句添加数据。
  • Hash Clustering表不支持通过Tunnel方式上传数据至Range Cluster表。
• 减少小文件数量。
  当MaxCompute中的小文件数量较多时，会降低查询表数据的速度。您可以使用如下方式避免产生小文件：

  • 减少计算过程中产生的小文件。

    使用INSERT OVERWRITE语句更新数据至源表，或者创建新表，添加数据至新表后删除源表。

  • 减少Tunnel数据采集过程中产生的小文件。
    • 调用Tunnel SDK时，每当Buffer达到64 MB时，提交一次。
    • 使用客户端时避免频繁上传小文件，建议积累至一定数量后一次性上传。
    • 如果导入数据至分区表，建议为分区表设置生命周期，到期时系统会自动清理过期数据。
    • 使用INSERT OVERWRITE语句添加数据至源表或分区表。
    • 通过客户端命令执行ALTER合并操作。
  • 创建临时表时设置生命周期，到期后垃圾回收机制会自动回收临时表。
  • 使用如下策略合理申请DataHub Shard，减少产生小文件。
    • 根据单个Shard的默认吞吐量分配Shard数目，默认吞吐量为1 MB/s。

    • 当按照小时划分分区时，每个Shard每个小时会产生12个文件。如果此时数据量很少而Shard很多，则MaxCompute产生小文件的个数为Shard*12/h。

      MaxCompute的每个Shard拥有一个单独的任务，您可以设置每隔5 min或者每当Buffer达到64 MB时，提交一次任务，提升查询MaxCompute数据的速度。

    • 根据实际业务需求分配Shard。

SET hg_experimental_query_batch_size = xx  //设置每次读取MaxCompute表Batch的大小，默认为8192个。
SET hg_experimental_foreign_table_split_size = xx  //设置MaxCompute表并发访问切分Spilit的数目。