增量分区物化视图

概述

增量分区物化视图把分区物化视图的分区管理能力与增量物化视图（DIMV）的增量刷新引擎结合起来，通过polar_matview.create_partition_mv(..., use_dimv => TRUE)创建：每个源分区对应一个真正的DIMV子物化视图，源分区结构的增删由分区物化视图负责同步，分区内部的数据变更由DIMV引擎增量维护。

适用范围

CREATE EXTENSION IF NOT EXISTS polar_ivm;

创建

使用polar_matview.create_partition_mv创建增量分区物化视图，把use_dimv置为TRUE即可，其余参数的含义与分区物化视图一致：

CALL polar_matview.create_partition_mv(
  mv_schema NAME,                          -- 物化视图的 schema
  mv_name NAME,                            -- 物化视图名称
  ref_partition_table OID,                 -- 源分区表的 OID
  view_def TEXT,                           -- SELECT 查询定义
  use_imci BOOLEAN DEFAULT FALSE,          -- 是否使用列存加速
  skip_check_partitionable BOOLEAN DEFAULT FALSE,  -- 跳过可分区性检查
  create_no_data BOOLEAN DEFAULT FALSE,    -- 创建时不填充数据
  use_dimv BOOLEAN DEFAULT FALSE           -- 用 DIMV 承载增量刷新
);

参数说明：

示例：在按季度RANGE分区的demo.sales表上创建增量分区物化视图。

CREATE SCHEMA IF NOT EXISTS demo;

-- 基表：RANGE 按季度分区，主键包含分区键 sale_date
CREATE TABLE demo.sales (
  id SERIAL,
  sale_date DATE,
  amount INT,
  PRIMARY KEY (id, sale_date)
) PARTITION BY RANGE (sale_date);

CREATE TABLE demo.sales_q1 PARTITION OF demo.sales
  FOR VALUES FROM ('2023-01-01') TO ('2023-04-01');
CREATE TABLE demo.sales_q2 PARTITION OF demo.sales
  FOR VALUES FROM ('2023-04-01') TO ('2023-07-01');

INSERT INTO demo.sales(sale_date, amount) VALUES
  ('2023-02-15', 100), ('2023-03-15', 150), ('2023-05-15', 200);

-- 创建增量分区物化视图
CALL polar_matview.create_partition_mv(
  'demo', 'mv_sales', 'demo.sales'::regclass,
  $$SELECT sale_date, SUM(amount) AS s FROM demo.sales GROUP BY sale_date$$,
  FALSE, FALSE, FALSE, TRUE /* use_dimv */
);

SELECT * FROM demo.mv_sales ORDER BY 1;

创建时系统会完成以下工作：

• 为每个源分区对应创建一个REFRESH FAST ON DEMAND ... WITH NO DATA的子DIMV，随后执行一次全量刷新填充数据、建立增量基线。

• 所有子DIMV共享基表上的同一个mlog，基表的写入开销不随分区数增加。

• 自动刷新间隔初始为-1 second，即默认关闭，需要显式调用set_refresh_interval开启。

刷新

-- 将自动刷新间隔设置为 10 秒
SELECT polar_matview.set_refresh_interval(
  'demo.mv_sales'::regclass::oid,
  '10 seconds'::interval);

CALL polar_matview.refresh_partition_mv('demo', 'mv_sales');

冻结历史分区

时间序列场景中，老分区在窗口滑过之后就不再变化，但只要它们的子DIMV还在DIMV的接管之下，调度器每一轮都要把它们取出来、开事务、查一遍增量、再更新元数据，即使每次都发现无事可做。分区数越多，这部分与数据量无关的固定开销占比越高。冻结机制把这些分区从调度队列里摘出去，让维护成本只落在真正活跃的分区上，因此推荐开启。

-- 源分区超过 7 天没有数据变化，其子 DIMV 被冻结
SELECT polar_matview.set_freeze_interval('demo.mv_sales'::regclass, INTERVAL '7 days');

-- 传 NULL 关闭冻结
SELECT polar_matview.set_freeze_interval('demo.mv_sales'::regclass, NULL);

最佳实践

-- 连接到 pg_cron 的元数据库（默认 postgres），以 dimv_worker 身份执行
SELECT cron.schedule_in_database(
  'align-mv-daily-sales',
  '59 seconds',
  $$CALL polar_matview.refresh_partition_mv('demo', 'mv_daily_sales')$$,
  '<业务库>'
);

DO $$
DECLARE c regclass;
BEGIN
  FOR c IN SELECT inhrelid::regclass FROM pg_inherits
           WHERE inhparent = 'demo.mv_daily_sales'::regclass LOOP
    PERFORM polar_matview.freeze_dimv(c);
  END LOOP;
END $$;

列存索引加速

use_imci参数对增量分区物化视图同样有效，创建和刷新时会走列存执行路径：

CALL polar_matview.create_partition_mv(
  'demo', 'mv_sales_csi', 'demo.sales'::regclass,
  $$SELECT sale_date, SUM(amount) AS s FROM demo.sales GROUP BY sale_date$$,
  TRUE /* use_imci */, FALSE, FALSE, TRUE /* use_dimv */
);

CALL polar_matview.refresh_partition_mv('demo', 'mv_sales_csi', TRUE /* use_imci */);

use_imci会自动为建视图和全量刷新语句注入Set(polar_csi.enable_query on)和Set(polar_csi.cost_threshold 0)，无需再改会话配置，也不受默认代价阈值影响。唯一的前置条件是基表上存在列存索引（IMCI），创建方法请参见普通物化视图中的列存加速刷新章节。

删除

使用polar_matview.drop_partition_mv删除增量分区物化视图：

CALL polar_matview.drop_partition_mv('demo', 'mv_sales');

该操作会删除父物化视图、所有子DIMV及相关元数据。与删除单个分区一样，基表上的mlog不会被自动删除。

完整示例

下面是一个端到端示例，覆盖从安装扩展、创建增量分区物化视图、开启自动刷新、冻结历史分区，到定期结构对齐与清理的完整流程。

-- ========== 1. 准备扩展与基表 ==========
CREATE EXTENSION IF NOT EXISTS polar_ivm;
CREATE SCHEMA IF NOT EXISTS demo;

CREATE TABLE demo.orders (
  order_id SERIAL,
  order_date DATE,
  user_id INT,
  amount NUMERIC,
  PRIMARY KEY (order_id, order_date)
) PARTITION BY RANGE (order_date);

CREATE TABLE demo.orders_202401 PARTITION OF demo.orders
  FOR VALUES FROM ('2024-01-01') TO ('2024-02-01');
CREATE TABLE demo.orders_202402 PARTITION OF demo.orders
  FOR VALUES FROM ('2024-02-01') TO ('2024-03-01');

INSERT INTO demo.orders(order_date, user_id, amount) VALUES
  ('2024-01-05', 1, 100), ('2024-01-20', 2, 200),
  ('2024-02-10', 1, 300);

-- ========== 2. 创建增量分区物化视图 ==========
CALL polar_matview.create_partition_mv(
  'demo', 'mv_daily_sales', 'demo.orders'::regclass,
  $$SELECT order_date,
           SUM(amount) AS total_amount,
           COUNT(*) AS order_count
    FROM demo.orders
    GROUP BY order_date$$,
  FALSE, FALSE, FALSE, TRUE /* use_dimv */
);

SELECT * FROM demo.mv_daily_sales ORDER BY order_date;

-- ========== 3. 开启自动刷新（间隔下推到所有子 DIMV） ==========
SELECT polar_matview.set_refresh_interval(
  'demo.mv_daily_sales'::regclass::oid, '10 seconds'::interval);

-- 增量刷新由后台 worker 执行，set_refresh_interval 本身不会触发刷新。
-- 必须先连到 pg_cron 的元数据库（默认 postgres）调度 worker，
-- 否则物化视图的数据会一直停留在创建时的快照：
--   SELECT cron.schedule_in_database(
--     'dimv-auto-refresh-worker-1', '1 second',
--     $$CALL polar_matview.auto_refresh_worker_main()$$, '<业务库>');
-- worker 的部署方式与普通 DIMV 完全一致，详见「增量物化视图」的“配置自动刷新与清理”章节。

-- ========== 4. 数据变更由 DIMV 增量应用 ==========
INSERT INTO demo.orders(order_date, user_id, amount) VALUES ('2024-01-05', 3, 50);
UPDATE demo.orders SET amount = 400 WHERE order_date = '2024-02-10';

-- worker 调度后等待一个刷新周期（本例为 10 秒）再查询，即可看到最新结果
SELECT * FROM demo.mv_daily_sales ORDER BY order_date;

-- ========== 5. 冻结不再变化的历史分区 ==========
SELECT polar_matview.set_freeze_interval(
  'demo.mv_daily_sales'::regclass, INTERVAL '30 days');

结构对齐需要配成pg_cron定期任务。这一步在pg_cron的元数据库（默认为postgres）中、以普通角色执行，schedule_in_database的最后一个参数是上面这些对象所在的业务库：

-- ========== 6. 定期结构对齐（连到 postgres 库，以 dimv_worker 身份执行） ==========
SELECT cron.schedule_in_database(
  'align-mv-daily-sales',
  '59 seconds',
  $$CALL polar_matview.refresh_partition_mv('demo', 'mv_daily_sales')$$,
  '<业务库>'
);

回到业务库，滚动一个新分区，等待一轮定期任务即可看到它被自动纳入维护：

-- ========== 7. 滚动新分区：由步骤 6 的定期任务自动纳入增量维护 ==========
CREATE TABLE demo.orders_202403 PARTITION OF demo.orders
  FOR VALUES FROM ('2024-03-01') TO ('2024-04-01');

INSERT INTO demo.orders(order_date, user_id, amount) VALUES ('2024-03-15', 2, 500);

-- 等待一轮（约 1 分钟）后，新分区的子物化视图已建好、数据已填充，
-- 并继承了 10 秒的刷新间隔；也可以手动立即执行一次：
CALL polar_matview.refresh_partition_mv('demo', 'mv_daily_sales');

SELECT * FROM demo.mv_daily_sales ORDER BY order_date;

-- ========== 8. 清理 ==========
-- 在 postgres 库执行，取消定期任务
SELECT cron.unschedule('align-mv-daily-sales');

CALL polar_matview.drop_partition_mv('demo', 'mv_daily_sales');

工作原理

理解这个特性的关键是记住分区物化视图和DIMV引擎各管一块，两者不重叠：

这解释了两个容易困惑的现象：

• 对一个增量分区物化视图执行refresh_partition_mv，如果只有数据变化而结构没变，它会跳过该物化视图，数据看起来没有推进，因为数据归DIMV引擎自己维护，分区物化视图这一侧不去碰。

• 反过来，被冻结的子物化视图不再由DIMV引擎维护，却仍然能在源分区的数据重新发生变化时自动恢复，因为版本检测和恢复动作都发生在refresh_partition_mv这一侧。

注意事项

• 改名是安全的：元数据以OID和pg_inherits为准，不依赖名称。执行ALTER MATERIALIZED VIEW ... RENAME之后，用新名字继续管理即可，增量维护不受影响。

• mlog不会被自动删除：删除分区或删除整个物化视图时，基表上的mlog都会保留，因为它可能被其他物化视图共享。确认不再需要时，请使用手动管理的接口清理，详情请参见增量物化视图。

• 刷新间隔设在父物化视图上：直接对某个子DIMV调用set_refresh_interval只影响这一个子视图，父物化视图上记录的间隔不会随之改变；下次在父物化视图上设置间隔时，该子视图会被一并覆盖。