CDC（Change Data Capture）定义了识别并捕获数据库表中数据的变更场景，用于记录Delta Table增量表行级别的插入、更新和删除等操作，从而可以有效捕捉该表的数据变化事件流，后续可以通过事件驱动辅助增量计算、数据同步、数仓分层等业务需求。
功能介绍
增量计算：可增量读取CDC变更记录进行增量计算，如增量物化视图更新等。
流式计算：可流式读取CDC变更记录进行流式计算，如Flink计算任务消费。
多引擎间的数据同步：不同引擎间的增量数据同步和计算。
日志审计：详细记录所有的数据操作记录，用于操作日志审计。
该功能目前处于邀测中，邀测功能使用方法请参见使用说明。
基本操作
建表DDL
建表DDL分为两种：同步CDC和异步CDC。
同步CDC：仅支持SQL DML操作生成增量表，不支持实时数据写入。SQL操作完成，CDC数据即生成。
异步CDC：支持SQL DML操作生成增量表，支持实时数据写入。但CDC数据生成属于异步行为，非立即生效。
同步CDC
创建Delta Table时添加"acid.cdc.mode.enable"="true"属性， 可以选择性添加"cdc.insert.into.passthrough.enable"="true"和"cdc.data.retain.hours"="24"属性。
SQL示例如下：
CREATE TABLE acid_with_cdc_tbl (pk BIGINT NOT NULL PRIMARY KEY, val BIGINT)
tblproperties ("transactional" = "true", "acid.cdc.mode.enable"="true");acid.cdc.mode.enable：开启Delta Table CDC功能，默认为同步方式，支持在SQL DML时同步生成CDC数据，不支持Tunnel实时写入。cdc.insert.into.passthrough.enable：对于开启CDC功能的表默认不支持INSERT INTO，添加该属性时，可支持执行INSERT INTO语句，写入的数据在CDC中仅代表INSERT类型，如果存在相同PK的数据行，后续查询会因为PK冲突导致查询失败，需要用户确保PK数据唯一。cdc.data.retain.hours：CDC数据的保留时间（1~168小时），默认24小时。
异步CDC
创建Delta Table时添加"acid.cdc.mode.enable"="true"、"acid.cdc.build.async"="true"、"acid.cdc.build.interval"="300"属性。
SQL示例如下：
CREATE TABLE acid_with_cdc_build_tbl (pk BIGINT NOT NULL PRIMARY KEY, val BIGINT)
tblproperties ("transactional" = "true",
"acid.cdc.mode.enable"="true",
"acid.cdc.build.async"="true",
"acid.cdc.build.interval"="300"); acid.cdc.mode.enable：开启Delta Table CDC功能，默认为同步方式，支持在SQL DML时同步生成CDC数据，不支持Tunnel 实时写入。
acid.cdc.build.async：开启异步构建CDC的功能，支持Tunnel实时写入该表，同时对于SQL的DML也会异步生成。acid.cdc.build.interval：异步构建的周期配置[60-3540]，单位秒，结合业务或增量场景配置该参数。其他可选参数（Project级 / Session级）：
"odps.storage.orc.enable.memcmp.sort.key="true"，建议Project级别开启，对于CDC的异步构建以及查询都会有性能帮助。
CDC查询
CDC查询分两种：table_changes和Stream。
table_changes
语法
SELECT * FROM table_changes('<table_name>', <version_start>, [<version_end>]);参数说明
table_name：必填，指定查询的Delta Table。version_start：必填，是对该表CDC数据查询的起始version，table version可以通过SHOW HISTORY FOR TABLE <table_name>;命令查询，详见SHOW。version_end：选填，指定对该表CDC数据查询的截止version，若不填，则会查询到最新version。
返回值说明
除数据列外，会额外输出如下三个系统列：
__meta_timestamp：代表数据写入系统时间。__meta_op_type：包含1（INSERT）和0（DELETE）。__meta_is_update：包含1（TRUE）和0（FALSE）。
__meta_op_type和__meta_is_update可组合成如下四种情况：__meta_op_type
__meta_is_update
说明
1
0
代表INSERT的新记录。
1
1
代表UPDATE后的值。
0
1
代表UPDATE前的值。
0
0
代表删除。
示例
-- 创建acid_with_cdc_tbl表 CREATE TABLE acid_with_cdc_tbl (id1 BIGINT NOT NULL PRIMARY KEY, id2 BIGINT) tblproperties ("transactional" = "true", "acid.cdc.mode.enable"="true","cdc.insert.into.passthrough.enable"="true"); -- 插入数据 INSERT INTO acid_with_cdc_tbl VALUES (1, 1006), (2, 1008), (3, 1032); -- 使用table_changes方式进行CDC查询 SELECT * FROM table_changes('acid_with_cdc_tbl', 1);返回结果如下：
+------------+------------+---------------------+----------------+------------------+ | pk | val | __meta_timestamp | __meta_op_type | __meta_is_update | +------------+------------+---------------------+----------------+------------------+ | 3 | 1032 | 2024-12-03 02:54:50 | 1 | 0 | | 2 | 1008 | 2024-12-03 02:54:50 | 1 | 0 | | 1 | 1006 | 2024-12-03 02:54:50 | 1 | 0 | +------------+------------+---------------------+----------------+------------------+
Stream
指定对Delta Table CDC数据配合Stream使用，详细使用方式请参见流对象（Stream），此处仅提供基本语法和示例。
语法
CREATE STREAM [IF NOT EXISTS] <stream_name> ON TABLE <delta_table_name> <VERSION as of v> strmproperties ("read_mode"="cdc")说明"read_mode"指定对Delta Table的消费模式，"cdc"表示该Stream会根据查询范围查询CDC数据。示例
-- 创建源表acid_with_cdc_stream CREATE TABLE acid_with_cdc_stream (id1 BIGINT NOT NULL PRIMARY KEY, id2 BIGINT) tblproperties ("transactional" = "true", "acid.cdc.mode.enable"="true","cdc.insert.into.passthrough.enable"="true"); -- 插入数据 INSERT INTO acid_with_cdc_stream VALUES (1, 1006), (2, 1008), (3, 1032); -- 创建一个Stream关联acid_with_cdc_stream表 CREATE STREAM delta_table_stream ON TABLE acid_with_cdc_stream version AS OF 1 strmproperties ("read_mode"="cdc"); -- 查询Stream对象delta_table_stream DESC STREAM delta_table_stream;返回结果示例如下：
Name delta_table_stream Project yunqi_y**** Schema default Create Time 2024-12-03 11:13:12 Last Modified Time 2024-12-03 11:13:12 Offset Version 1 Reference Table Project yunqi_y**** Reference Table Schema default Reference Table Name acid_with_cdc_stream Reference Table Id b89ec113f50944d5b8e52ce6a00c**** Reference Table Version 2 Parameters {"read_mode": "cdc"}