通过流式列更新,可将各更新任务以 Append 方式写入 source 分支,由 DLF 持续合并同步到 target 分支,避免多个 upsert 源直接并发更新同一张多模态表时发生提交冲突。
背景信息
DLF 多模态表(也称为 Data Evolution 表)支持部分列更新:一次写入只需携带发生变化的列,无需重写整行或完整数据文件,适用于向量、标签、元数据等字段独立更新的宽表场景。当多个 upsert 源直接并发更新同一张表时,不同任务可能同时修改相同的数据范围,产生提交冲突并导致任务失败。
工作原理
DLF 基于 Paimon Branch 提供多模态表流式列更新能力。向 source 分支写入更新数据前须开通该功能,并满足下文的硬性约束。功能开通后,各更新任务按以下链路写入,不再直接并发写入 target 分支,可避免由此产生的提交冲突:
各更新任务以 Append 方式将更新写入 source 分支。
DLF 流式列更新服务持续将 source 分支的数据合并同步到 target 分支。
业务统一查询 target 分支。可将 target 分支设置为主表,此时查询侧无需感知分支的概念。
DLF 流式列更新服务具有以下能力:
upsert 语义:同一业务键的多次写入,按写入 source 分支的顺序合并为一条记录,各待更新字段保留最后一次写入的非 NULL 值。NULL 表示不更新,不会清空已有值;业务键不存在时插入新记录,已存在时更新相应列。
按列更新:更新 target 分支时仅写入本次涉及的列,无需重写整行。例如,一批更新仅涉及元数据列时,不会因此重写向量列。
source 分支保存 Append 写入的原始记录,可能包含重复的业务键,业务查询需统一指向 target 分支。
前提条件
表类型:流式列更新仅支持 DLF Paimon 多模态表。关于多模态表,请参见数据演化与行级追踪。
执行环境:执行示例 SQL 的环境已对接 DLF。本文以 EMR Serverless Spark 为例。有关 EMR Serverless Spark 对接 DLF 的操作,请参见Serverless Spark访问DLF。
使用限制与注意事项
硬性约束
字段与分区定义:source 分支与 target 分支必须保持一致。
source 分支写入:禁止通过 update 方式写入数据,否则可能破坏数据的正确性。
功能限制
业务键变更:暂不支持修改业务键。如需变更,请重新建立 source 分支和 target 分支。
删除操作:当前服务只处理插入和更新,不支持删除,不会将 source 分支中的删除同步到 target 分支。
推荐做法
target 分支初始数据:开启该功能前,推荐保持 target 分支数据为空。本功能不修复 target 分支已有的业务键重复问题。
数据写入路径:推荐所有数据均通过 Append 方式写入 source 分支。如果直接向 target 分支写入数据,可能导致 target 分支出现业务键重复。
变更与回滚:修改表结构、表名或分支配置,以及对 source 分支执行 rollback 前,请先联系阿里云技术支持协调操作。
参数配置
多模态表属性
仅 DLF 多模态表支持该功能,source 分支和 target 分支都需要开启以下属性。本文以 Spark SQL 为例,在建表时通过 TBLPROPERTIES 设置这些属性。完整语句请参见下文操作流程的步骤一。
参数名 | 取值 | 说明 |
|
| 启用行级追踪,为每行分配全局唯一的 RowId。 |
|
| 启用数据演化模式。 |
source 分支配置
以下参数通过 ALTER TABLE 设置,且仅需为 source 分支配置,完整语句请参见下文操作流程的步骤二。
参数名 | 说明 | 默认值 | 是否必选 |
| 启用流式列更新配置,需设为 |
| 是 |
| 目标分支名,通常为 main,即主表。 | 无 | 是 |
| 业务键列名,多个列用英文逗号( | 无 | 是 |
| 监测 source 分支新数据并触发同步的间隔。 |
| 否,建议设置为 1~3 分钟。 |
| 启动时检查 target 分支的业务键是否唯一,发现重复则拒绝启动。 |
| 否 |
间隔选择:间隔较短通常能更及时地处理更新,但会增加调度与小批次写入开销;允许更高延迟时,可适当调大间隔。实际的数据可见延迟除触发间隔外,还受单批处理耗时和数据积压影响,可能大于触发间隔。上一批未结束时,下一批不会并行启动。
配置生效:服务启动时读取
morax.de-upsert.trigger-interval和morax.de-upsert.check-target-uniqueness这两个可选参数,运行期间不会自动应用新值。修改后请联系阿里云技术支持协调重启生效。
target 分支配置
target 分支可按需配置以下参数。已创建索引的列会被更新时,必须将 global-index.column-update-action 设置为 IGNORE。
参数名 | 作用 | 默认值 | 配置建议 |
| 目标文件大小。 |
| 建议设置为 64MB~128MB。 |
| Compaction 优化间隔。 |
| 建议设置为 3~5 分钟。 |
| 已创建索引的列接收更新时的行为。 |
| 索引列会被更新时,必须设置为 |
操作流程
以视频素材管理为例:同一素材的名称和负责人由元数据任务维护,标签由打标任务产生,向量由特征提取任务生成。各任务完成时间不同,需要独立补充或更新各自负责的字段,同时保留其他任务的处理结果。
本例以 asset_id 为业务键,各任务向 rt 分支追加写入,从主表查询完整记录。以下示例使用 Spark SQL,向量仅用 2 维数据演示。
步骤一:创建表和 source 分支
创建启用行级追踪和数据演化的多模态表,并创建 rt 分支作为 source 分支。
CREATE DATABASE IF NOT EXISTS paimon.demo;
CREATE TABLE paimon.demo.multimodal_assets (
asset_id BIGINT,
name STRING,
owner STRING,
tags ARRAY<INT>,
embedding ARRAY<FLOAT>
)
USING paimon
TBLPROPERTIES (
'bucket' = '-1',
'row-tracking.enabled' = 'true',
'data-evolution.enabled' = 'true'
);
-- 创建 rt 分支作为 source 分支
CALL paimon.sys.create_branch(
table => 'demo.multimodal_assets',
branch => 'rt'
);步骤二:配置 source 分支并申请开通
为 rt 分支启用流式列更新,并将 main 指定为 target 分支。
ALTER TABLE paimon.demo.`multimodal_assets$branch_rt`
SET TBLPROPERTIES (
'morax.de-upsert.enabled' = 'true',
'morax.de-upsert.target-branch' = 'main',
'morax.de-upsert.upsert-keys' = 'asset_id'
);配置完成后,向阿里云技术支持提供所建多模态表的表名,申请开通 DLF 多模态表流式列更新能力。
确认功能已开通后,再执行步骤三中的写入操作。
步骤三:向 source 分支追加数据并查询 target 分支
元数据、打标、特征提取三个独立任务分别向 rt 分支追加同一素材的数据,每次写入均携带
asset_id,不更新的字段填写 NULL。示例中各条写入按顺序执行,实际场景中三个任务可并发写入 rt 分支;合并结果取决于各次写入 source 分支的顺序,每个字段保留最后一次非 NULL 写入的值。-- 元数据任务:写入素材名称和负责人 INSERT INTO paimon.demo.`multimodal_assets$branch_rt` VALUES (1, 'sample-video', 'alice', NULL, NULL); -- 打标任务:补充标签 INSERT INTO paimon.demo.`multimodal_assets$branch_rt` VALUES (1, NULL, NULL, array(2, 8), NULL); -- 特征提取任务:补充向量 INSERT INTO paimon.demo.`multimodal_assets$branch_rt` VALUES ( 1, NULL, NULL, NULL, CAST(array(0.1, 0.2) AS ARRAY<FLOAT>) );元数据任务将该素材的负责人改为 bob,仍通过追加写入完成更新,无需携带已有的标签和向量。
INSERT INTO paimon.demo.`multimodal_assets$branch_rt` VALUES (1, NULL, 'bob', NULL, NULL);数据异步同步到 target 分支。待上述写入同步完成后,查询主表。
SELECT asset_id, name, owner, tags, embedding FROM paimon.demo.multimodal_assets ORDER BY asset_id;预期结果如下:
asset_id
name
owner
tags
embedding
1
sample-video
bob
[2, 8]
[0.1, 0.2]
rt 分支的 4 条
asset_id = 1追加记录,合并为主表的一条完整记录:负责人更新为 bob,素材名称、标签和向量保留各任务写入的结果。