并行刷新

工作原理

1. 根据卸载策略选择远程节点（列存索引只读节点或行存只读节点），建立连接。

2. 将物化视图的定义查询发送到远程节点执行。

3. 远程节点流式返回结果集（支持压缩传输）。

4. 主（RW）节点创建多个 Worker 线程，各 Worker 并行获取行并写入容器表各分区。

特性

• 查询计算在远程节点完成，不占用主（RW）节点CPU。

• 写入在主（RW）节点本地执行，保证事务一致性。

• 宽表场景下并行效率不受行长影响。

• 支持多主集群（Limitless）。

使用步骤

上述参数配置完成后，执行刷新：

-- 执行刷新
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

工作原理（MPP 卸载到远程列存索引只读节点，卸载策略为FORCE_IMCI）

1. PQ Worker 被调度到远程列存索引只读节点执行 SELECT 扫描。

2. 扫描结果通过内部网络传回主（RW）节点（支持压缩）。

3. 多个 PQ Worker 在主（RW）节点本地并行扫描源表数据。

4. 扫描结果并行写入容器表各分区。

5. 主（RW）节点本地完成数据写入。

特性

• 端到端并行：扫描和写入在同一个并行执行计划中完成。

• 窄表场景下近线性扩展。

• 不受 ETL 单端口网络传输限制。

• 多主集群（Limitless）下暂不支持，自动回退到串行。

网络压缩（MPP 卸载场景）

使用步骤

-- 执行刷新
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

-- 1. 在主（RW）节点关闭 IMCI 作为 PQ Worker 资源的能力
-- 控制台配置 pq_mpp_allow_imci_node = OFF;

-- 2. 在主（RW）节点允许调度到 IMCI 节点
-- 控制台配置 pq_mpp_allow_dispatch_to_imci_node = ON;

-- 3. 连接到希望承接卸载查询的 IMCI 节点，仅在该节点开启调度入口
-- 控制台配置 pq_mpp_allow_dispatch_to_imci_node = ON;

-- 4. 回到主（RW）节点，使用 IMCI 卸载策略刷新
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

策略决定节点类型

COST策略的代价决策

当 materialized_view_complete_refresh_offload_policy = COST 时，系统根据查询的优化器代价与阈值比较来决定目标节点：

• 查询代价 ≥ cost_threshold_for_imci：卸载到列存索引只读节点（列存索引适合大代价的扫描与聚合查询）。

• 查询代价 < cost_threshold_for_imci：卸载到行存只读节点（轻量查询用行存只读节点即可）。

-- 设置代价阈值（默认 0，即所有查询都倾向 IMCI）
SET SESSION cost_threshold_for_imci = 100000;

-- 使用代价策略
SET SESSION materialized_view_complete_refresh_offload_policy = COST;

多节点负载均衡

当同一类型有多个节点时，系统通过 Round-Robin 方式轮询选择节点：

• 每次刷新任务按全局计数器顺序选取下一个节点。

• 若选中的节点连接失败，自动尝试列表中的下一个节点，直到所有节点都尝试过。

• 不同的物化视图刷新任务会被均匀分布到各节点上。

对于ePQ + MPP卸载到列存索引（IMCI）的场景，可以有两种方式：

1. 开启pq_mpp_allow_imci_node，支持卸载到全部的列存索引只读节点。

2. 先关闭pq_mpp_allow_imci_node = OFF，然后通过 pq_mpp_allow_dispatch_to_imci_node 缩小候选列存索引只读节点范围：

   • 在主（RW）节点设置 pq_mpp_allow_dispatch_to_imci_node = ON，允许主（RW）节点接受远端列存索引只读节点的调度入口状态。

   • 在希望承接卸载查询的列存索引只读节点上设置 pq_mpp_allow_dispatch_to_imci_node = ON。

   • 在不希望承接卸载查询的列存索引只读节点上保持 pq_mpp_allow_dispatch_to_imci_node = OFF。

推荐策略

生产环境建议使用 FORCE_IMCI 或 FORCE_TPRO，避免使用 PREFER_* 策略。

原因： PREFER_*策略在目标节点不可用时会静默回退到主（ RW）节点本地执行，此时INSERT SELECT将在主（ RW）节点上完成全量扫描和写入，形成大事务，可能影响主（ RW）节点的在线业务性能。

配置示例

-- 推荐：强制使用 IMCI 节点，不可用时报错而非回退
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;

-- 仅使用只读节点，不可用时报错
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_TPRO;

-- 根据查询代价自动选择 IMCI 或 TPRO
SET SESSION materialized_view_complete_refresh_offload_policy = COST;
SET SESSION cost_threshold_for_imci = 50000;

基本规则

• GLOBAL 参数：仅能在控制台设置，对所有会话和自动刷新线程统一生效。

• SESSION 参数：可通过SET SESSION针对当前会话设置，也可通过控制台修改默认值，自动刷新线程使用的GLOBAL默认值。

ETL 并行写入模式的参数作用域

ePQ 并行写入模式的参数作用域

说明事项

• 若仅使用手动刷新，SESSION参数可按会话灵活调整。

• 若依赖自动刷新，所有SESSION参数都需要通过控制台设置合理的默认值。

• GLOBA参数无论哪种刷新方式都必须在控制台设置，且修改后对所有后续任务立即生效。

• SET SESSION在集群重启后失效，而GLOBA参数在控制台修改会保持持久化。

核心参数

计算卸载参数

网络压缩参数

压缩生效方式：

materialized_view_etl_compression_level 仅在 materialized_view_etl_compression_algorithm = ZSTD 时生效。设置为 0 时使用 ZSTD 默认级别 3，设置为 1~22 时使用指定级别，级别越高通常压缩率越高，但 CPU 开销也更大。

卸载策略（materialized_view_complete_refresh_offload_policy参数）详解