列存索引缓存预热

功能介绍

基于存算分离架构设计的PolarDB-X列存查询引擎，在执行分析型查询时采用智能缓存策略。计算节点优先检测本地缓存中的列存索引数据命中状态，当发生缓存未命中情形，系统将自动从远端OSS对象存储服务拉取所需列存数据到列存只读节点。为优化查询体验，引擎配备多级缓存管理机制，采用分层递进的数据加载策略，仅当上层缓存未命中时，才会逐级向底层存储发起数据请求，并在获取数据后主动回填至上层缓存空间。缓存预热功能作为缓存管理体系的战略补充，通过引入主动预加载机制，有效解决了冷启动阶段的性能瓶颈问题。这种双模协同机制（被动响应+主动预载）显著增强了系统应对复杂查询场景的能力，为海量数据分析提供持续稳定的高性能保障。

缓存机制对比详解：

• 缓存管理（被动模式）：

  • 动态填充机制：通过查询驱动的数据加载方式。

  • 响应式架构：依据实际查询需求触发数据分层缓存。

  • 渐进优化：随着查询频次提升自然形成热点数据缓存。

• 缓存预热（主动模式）：

  • 预加载机制：通过WARMUP语句预先载入目标数据。

  • 前瞻性优化：主动构建缓存内容以应对预期查询。

  • 性能保障：规避首次查询时的远端I/O延迟风险。

注意事项

• 仅支持在列存只读实例，或者在包含列存只读实例的主实例上执行。在主实例执行时，会将WARMUP语句转发至列存只读实例执行。

• WARMUP语句支持所有合法的SQL查询语句；

• 为了提升预热性能，WARMUP并不会执行全部的SQL查询流程，而是仅对SQL涉及到的数据范围执行数据拉取过程。

• WARMUP预热的缓存数据，也受到列存数据缓存的统一管理，仍然按照缓存淘汰规则进行管理。

• 为了防止同一时间有大量预热语句同时执行，造成实例负载压力，不同WARMUP定时任务如果在执行时发生时间冲突，则会按照发起时间排队依次执行。

• 在使用 WARMUP 时，确保提供有效的选择查询，以便在预热后能够正确地执行相应的操作。

适用场景

适用于稳定的业务查询访问，不适用于即席查询（Ad Hoc，非预先规划、临时发起的查询）。

语法

WARMUP [cron_expression]
SELECT
    select_expr [, select_expr] ...
    [FROM table_references]
    [WHERE where_condition]
    [GROUP BY {col_name | expr | position}
      [ASC | DESC], ... ]
    [HAVING where_condition]
    [ORDER BY {col_name | expr | position}
      [ASC | DESC], ...]
    [LIMIT {[offset,] row_count | row_count OFFSET offset}]

cron_expression:
    ('cron_string') | <empty>

select_expr:
    column_name
  | aggregate_function(column_name)
  | column_name AS alias_name
  | expression

WARMUP [cron_expression]
{SELECT ...}
{SELECT ...}
{SELECT ...};

参数说明：

示例

执行WARMUP语句时，如果语句不包含CRON表达式，则会立即执行一次预热。如果包含CRON表达式，则会按CRON表达式所指示的执行周期，进行定时预热。

WARMUP SELECT * FROM lineitem;

WARMUP('*/3 * * * *') 
SELECT * 
FROM lineitem 
WHERE l_shipdate > '2024-09-01';

WARMUP('0 8 * * *') 
SELECT * 
FROM lineitem, part
WHERE l_partkey = p_partkey;

WARMUP('*/5 1-5 * * *') 
SELECT * 
FROM lineitem, part
WHERE l_partkey = p_partkey;

预热任务管理

SELECT * FROM information_schema.columnar_warmup WHERE schema_name = 'database1';

SELECT * FROM information_schema.warmup_execution_logs WHERE start_time >= NOW() - INTERVAL 2 DAY;

WARMUP DELETE <TASK_ID>

WARMUP DELETE ALL

WARMUP SUSPEND <TASK_ID>

WARMUP SUSPEND ALL

WARMUP RESUME <TASK_ID>

WARMUP RESUME ALL

最佳实践

• 业务写入流量较高，且对于查询延迟较为敏感，可以安排每2分钟对目标表的常用列进行周期性预热。执行如下语句，可以选择特定的列每2分钟进行预热：

  WARMUP('* /2 * * * *')
  SELECT col1, col2, col3... FROM your_table;

• 业务每天22:00需要对一天的业务数据进行分析查询，可以安排每天21:30使用分析型查询SQL对于涉及的业务数据进行预热，例如：

  WARMUP('30 21 * * *')
  SELECT col1, col2, col3 ...
  FROM table1 
  LEFT JOIN table2 ON table1.id1 = table2.id2
  LEFT JOIN table3 ON table1.id1 = table3.id3
  WHERE table1.col_date > '2024-01-01';

• 进行专业性能测试前，例如TPC-H，ClickBench，可以对所有表进行一次性预热。执行如下SQL对TPC-H的表进行了一次性预热：

  WARMUP SELECT * FROM lineitem;
  WARMUP SELECT * FROM orders;
  WARMUP SELECT * FROM customer;
  WARMUP SELECT * FROM part;
  WARMUP SELECT * FROM partsupp;
  WARMUP SELECT * FROM supplier;
  WARMUP SELECT * FROM region;
  WARMUP SELECT * FROM nation;

• 每天选择运维窗口01:00 - 05:00执行预热，每五分钟一次。

  WARMUP('*/5 1-5 * * *')
  SELECT * FROM lineitem;