使用分区裁剪优化扫表

选择合适的分区列

• 选择查询中频繁出现在WHERE条件中的列作为分区列，通常为时间列（如event_time、order_date）。

• 分区列应具有较高的区分度，使查询条件能有效缩小扫描范围。

使用AUTO PARTITION自动分区（推荐）

通过AUTO PARTITION在数据写入时按需自动创建分区，无需预创建，适合分区键取值范围不确定或分区粒度灵活的场景：

-- 自动分区示例：写入时按天自动创建分区，无需预创建
CREATE TABLE user_events (
    event_time DATETIME NOT NULL,
    user_id BIGINT NOT NULL,
    event_type VARCHAR(32),
    event_data TEXT
)
DUPLICATE KEY(event_time, user_id)
AUTO PARTITION BY RANGE (date_trunc(event_time, 'day')) ()
DISTRIBUTED BY HASH(user_id) BUCKETS AUTO;

使用动态分区管理生命周期

对于分区生命周期管理有明确需求的时序数据（如保留最近N天分区、自动清理过期分区），配置动态分区：

-- 动态分区示例：自动管理分区生命周期（保留最近30天，预创建未来3天）
CREATE TABLE user_events_dynamic (
    event_time DATETIME NOT NULL,
    user_id BIGINT NOT NULL,
    event_type VARCHAR(32),
    event_data TEXT
)
DUPLICATE KEY(event_time, user_id)
PARTITION BY RANGE(event_time) ()
DISTRIBUTED BY HASH(user_id) BUCKETS AUTO
PROPERTIES (
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-30",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p"
);

控制分区粒度

单表分区数建议在数千以内。过细的分区（如按秒）会增加元数据管理开销；过粗的分区（如按年）会降低裁剪效果，导致单次查询仍需扫描大量数据。时序数据通常按天或月分区。

直接使用分区列作为过滤条件

-- 推荐：直接使用分区列
SELECT * FROM orders WHERE order_date >= '2024-01-01' AND order_date < '2024-02-01';

-- 不推荐：函数包裹分区列导致无法裁剪
SELECT * FROM orders WHERE DATE_FORMAT(order_date, '%Y-%m') = '2024-01';

确保过滤值类型与分区列一致

-- 推荐：使用与分区列一致的DATE类型
SELECT * FROM orders WHERE order_date = DATE '2024-01-15';

-- 避免：传入字符串可能导致隐式转换
SELECT * FROM orders WHERE order_date = 20240115;

Join查询中的分区裁剪

在Join查询中，确保每张分区表的过滤条件都包含分区列：

-- 两张表都能进行分区裁剪
SELECT a.*, b.product_name
FROM orders a JOIN products b ON a.product_id = b.product_id
WHERE a.order_date >= '2024-01-01'
  AND a.order_date < '2024-02-01'
  AND b.category = 'electronics';