动态物化视图（Delta Live MV）（邀测）

整体架构

优势

MaxCompute的动态物化视图Delta Live MV功能具备以下优势：

• 声明式SQL、免运维、自动数仓分层。

• 简化数仓架构，一份计算逻辑，一个引擎，同时支持增量计算和全量计算，同时满足低延迟和高吞吐需求。

• 成本效益，平衡数据新鲜度和成本，高效处理增全量ETL。

适用场景

该功能适用于以下场景：

• 离线业务实时化

  从T+1数仓演进到分钟级近实时数仓。

• 增全量一体

  • 当天分区近实时增量计算：业务数据新鲜度要求高，计算性价比高。

  • （可选操作）历史分区回刷：数据归档、修正，用于后续大规模数据分析。

语法格式

CREATE MATERIALIZED VIEW [IF NOT EXISTS][<project_name>.]<mv_name>
[LIFECYCLE <days>]    --指定生命周期
[BUILD DEFERRED]    -- 指定是在创建时只生成表结构，不生成数据
[(<col_name> [COMMENT <col_comment>],...)]    --列注释
[DISABLE REWRITE]    --指定是否用于改写
[COMMENT <table comment>]    --表注释
[PARTITIONED ON/BY (<col_name> [, <col_name>, ...])    --创建物化视图表为分区表
[REFRESH EVERY <num> MINUTES/HOURS/DAYS] -- 设置物化视图定时更新间隔
TBLPROPERTIES(
  "refresh_mode"="incremental"
  [,"enable_auto_refresh"="true"]    --指定是否开启自动刷新
  [,"refresh_cron"="xx"]             --根据cron定时器，可以配置定时间隔更新或者定点更新，间隔定点更新等
  [,"refresh_job_settings"="xx"]
              )
AS <select_statement>;

动态物化视图Delta Live MV的语法兼容主要普通物化视图的语法，目前存在以下差异：

• 当前不支持将动态物化视图创建为聚簇表。

• 动态物化视图不支持将enable_auto_substitute参数设置为true。动态物化视图是异步物化视图形态，所使用的base table数据不一定是最新版本，与enable_auto_substitute设置为true时冲突。

参数说明

TBLPROPERTIES(
  "enable_auto_refresh"="true"，
  "refresh_cron"="xx"
)

'refresh_job_settings'='set odps.sql.split.size=128;set odps.sql.reshuffle.dynamicpt
=false;'

使用示例

CREATE MATERIALIZED VIEW IF NOT EXISTS mv1
REFRESH EVERY 5 MINUTES
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT name, COUNT(*) FROM source GROUP BY name;

CREATE MATERIALIZED VIEW IF NOT EXISTS part_dlmv_department
PRIMARY KEY(dept_id)
LIFECYCLE 10
BUILD DEFERRED
PARTITIONED BY (pt)
TBLPROPERTIES('refresh_mode'='incremental', 
'refresh_job_settings'='set odps.sql.split.size=128;set odps.sql.reshuffle.dynamicpt
=false;')
AS SELECT *, get_setting('odps.custom.setting.department.pt') AS pt FROM t_department;

-- 创建动态物化视图
CREATE MATERIALIZED VIEW dlmv_pt
PRIMARY KEY(value) BUILD DEFERRED PARTITIONED BY (ds) TBLPROPERTIES
('refresh_mode'='incremental', 'enable_auto_refresh'='true') 
AS SELECT value, AVG(value2), ds FROM dlmv_pt_src GROUP BY value, ds;

-- 刷新单分区
ALTER MATERIALIZED VIEW dlmv_pt REBUILD PARTITION(ds='20250730');

示例4：创建包含参数化定义的动态物化视图

支持参数化定义，可将离线分区作业迁移到增量作业。

• 支持get_setting函数，用于获取Session Flag中设置的参数值。需要以dps.custom.setting为前缀。

• 传统离线作业中的${biz_date}替换为get_setting(odps.custom.setting.xx)，完成参数化改造。

• 动态物化视图刷新语句前添加Session Flag set odps.custom.setting.xx=yy。

• 实际运行时，动态物化视图中的get_setting(odps.custom.setting.xx)会被MaxCompute优化器自动替换为yy。

示例如下：

-- 创建动态物化视图
CREATE MATERIALIZED VIEW mv1 
BUILD DEFERRED -- 只做ddl，不生成数据
PARTITIONED BY (ds) 
REFRESH EVERY 5 minutes 
TBLPROPERTIES("enable_auto_refresh"="true", "refresh_mode"="incremental")
AS 
SELECT A.* FROM A JOIN B ON A.c1 = B.c1
  AND A.ds=get_setting('odps.custom.setting.bizdate.a')
  AND B.ds=get_setting('odps.custom.setting.bizdate.b');

-- 刷新逻辑，通过Dataworks调度，自动替换${biz_date}和${yesterday}
SET odps.custom.setting.bizdate.a=${biz_date};
SET odps.custom.setting.bizdate.b=${yesterday};
ALTER MATERIALIZED VIEW mv1 REBUILD PARTITION(ds=${biz_date});

删除

DROP MATERIALIZED VIEW [IF EXISTS] [<project_name>.]<mv_name>;

手动刷新

动态物化视图提供手动刷新能力，仅支持刷新单分区。其语法和普通物化视图相同：

ALTER MATERIALIZED VIEW [<project_name>.]<mv_name>
      REBUILD [PARTITION(<ds>=max_pt(<table_name>),<expression1>...)];

其中ds为分区列。

关闭自动刷新

通过如下命令修改物化视图的TBLPROPERTIES参数，以关闭自动刷新功能。

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="false");

恢复自动刷新

通过如下命令修改物化视图的TBLPROPERTIES参数，以打开或者恢复自动刷新。

ALTER MATERIALIZED VIEW <mv_name> SET TBLPROPERTIES("enable_auto_refresh"="true");

修改刷新频率

通过如下命令修改动态物化视图的刷新频率。

ALTER MATERIALIZED VIEW <mv_name> 
SET TBLPROPERTIES("refresh_interval_minutes"="xx");

查看数据变更历史

通过如下命令查看动态物化视图数据的变更记录。

SHOW HISTORY FOR TABLE <mv_name>;

结果示例：

ObjectType      ObjectId                                ObjectName              VERSION(LSN)            Time                    Operation
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000001        2024-08-18 21:06:32     CREATE
TABLE           d95ec7015e8b432e8e0092d01da962a9        incremental_mv          0000000000000002        2024-08-18 21:11:13     UPDATE

查看刷新记录

通过如下命令查看动态物化视图的刷新记录（仅针对Refresh操作）。

SELECT * FROM 
Delta_Live_MV_Refresh_History(['<project_name>', '<schema_name>',]'<table_name>');