多模态表流式列更新

更新时间:
复制 MD 格式

通过流式列更新,可将各更新任务以 Append 方式写入 source 分支,由 DLF 持续合并同步到 target 分支,避免多个 upsert 源直接并发更新同一张多模态表时发生提交冲突。

背景信息

DLF 多模态表(也称为 Data Evolution 表)支持部分列更新:一次写入只需携带发生变化的列,无需重写整行或完整数据文件,适用于向量、标签、元数据等字段独立更新的宽表场景。当多个 upsert 源直接并发更新同一张表时,不同任务可能同时修改相同的数据范围,产生提交冲突并导致任务失败。

工作原理

DLF 基于 Paimon Branch 提供多模态表流式列更新能力。向 source 分支写入更新数据前须开通该功能,并满足下文的硬性约束。功能开通后,各更新任务按以下链路写入,不再直接并发写入 target 分支,可避免由此产生的提交冲突:

image
  1. 各更新任务以 Append 方式将更新写入 source 分支。

  2. DLF 流式列更新服务持续将 source 分支的数据合并同步到 target 分支。

  3. 业务统一查询 target 分支。可将 target 分支设置为主表,此时查询侧无需感知分支的概念。

DLF 流式列更新服务具有以下能力:

  • upsert 语义:同一业务键的多次写入,按写入 source 分支的顺序合并为一条记录,各待更新字段保留最后一次写入的非 NULL 值。NULL 表示不更新,不会清空已有值;业务键不存在时插入新记录,已存在时更新相应列。

  • 按列更新:更新 target 分支时仅写入本次涉及的列,无需重写整行。例如,一批更新仅涉及元数据列时,不会因此重写向量列。

说明

source 分支保存 Append 写入的原始记录,可能包含重复的业务键,业务查询需统一指向 target 分支。

前提条件

  • 表类型:流式列更新仅支持 DLF Paimon 多模态表。关于多模态表,请参见数据演化与行级追踪。

  • 执行环境:执行示例 SQL 的环境已对接 DLF。本文以 EMR Serverless Spark 为例。有关 EMR Serverless Spark 对接 DLF 的操作,请参见Serverless Spark访问DLF。

使用限制与注意事项

硬性约束

  • 字段与分区定义:source 分支与 target 分支必须保持一致。

  • source 分支写入:禁止通过 update 方式写入数据,否则可能破坏数据的正确性。

功能限制

  • 业务键变更:暂不支持修改业务键。如需变更,请重新建立 source 分支和 target 分支。

  • 删除操作:当前服务只处理插入和更新,不支持删除,不会将 source 分支中的删除同步到 target 分支。

推荐做法

  • target 分支初始数据:开启该功能前,推荐保持 target 分支数据为空。本功能不修复 target 分支已有的业务键重复问题。

  • 数据写入路径:推荐所有数据均通过 Append 方式写入 source 分支。如果直接向 target 分支写入数据,可能导致 target 分支出现业务键重复。

  • 变更与回滚:修改表结构、表名或分支配置,以及对 source 分支执行 rollback 前,请先联系阿里云技术支持协调操作。

参数配置

多模态表属性

仅 DLF 多模态表支持该功能,source 分支和 target 分支都需要开启以下属性。本文以 Spark SQL 为例,在建表时通过 TBLPROPERTIES 设置这些属性。完整语句请参见下文操作流程的步骤一。

参数名

取值

说明

row-tracking.enabled

true

启用行级追踪,为每行分配全局唯一的 RowId。

data-evolution.enabled

true

启用数据演化模式。

source 分支配置

以下参数通过 ALTER TABLE 设置,且仅需为 source 分支配置,完整语句请参见下文操作流程的步骤二。

参数名

说明

默认值

是否必选

morax.de-upsert.enabled

启用流式列更新配置,需设为 true。

false

是

morax.de-upsert.target-branch

目标分支名,通常为 main,即主表。

无

是

morax.de-upsert.upsert-keys

业务键列名,多个列用英文逗号(,)分隔,必须包含全部分区列。

无

是

morax.de-upsert.trigger-interval

监测 source 分支新数据并触发同步的间隔。

10s

否,建议设置为 1~3 分钟。

morax.de-upsert.check-target-uniqueness

启动时检查 target 分支的业务键是否唯一,发现重复则拒绝启动。

true

否

  • 间隔选择:间隔较短通常能更及时地处理更新,但会增加调度与小批次写入开销;允许更高延迟时,可适当调大间隔。实际的数据可见延迟除触发间隔外,还受单批处理耗时和数据积压影响,可能大于触发间隔。上一批未结束时,下一批不会并行启动。

  • 配置生效:服务启动时读取 morax.de-upsert.trigger-interval 和 morax.de-upsert.check-target-uniqueness 这两个可选参数,运行期间不会自动应用新值。修改后请联系阿里云技术支持协调重启生效。

target 分支配置

target 分支可按需配置以下参数。已创建索引的列会被更新时,必须将 global-index.column-update-action 设置为 IGNORE。

参数名

作用

默认值

配置建议

target-file-size

目标文件大小。

256MB

建议设置为 64MB~128MB。

morax.compact.check-interval

Compaction 优化间隔。

1h

建议设置为 3~5 分钟。

global-index.column-update-action

已创建索引的列接收更新时的行为。

THROW_ERROR

索引列会被更新时,必须设置为 IGNORE。DLF 会在索引列更新时自动更新索引;保持默认值会报错。

操作流程

以视频素材管理为例:同一素材的名称和负责人由元数据任务维护,标签由打标任务产生,向量由特征提取任务生成。各任务完成时间不同,需要独立补充或更新各自负责的字段,同时保留其他任务的处理结果。

本例以 asset_id 为业务键,各任务向 rt 分支追加写入,从主表查询完整记录。以下示例使用 Spark SQL,向量仅用 2 维数据演示。

步骤一:创建表和 source 分支

创建启用行级追踪和数据演化的多模态表,并创建 rt 分支作为 source 分支。

CREATE DATABASE IF NOT EXISTS paimon.demo;

CREATE TABLE paimon.demo.multimodal_assets (
    asset_id  BIGINT,
    name      STRING,
    owner     STRING,
    tags      ARRAY<INT>,
    embedding ARRAY<FLOAT>
)
USING paimon
TBLPROPERTIES (
    'bucket' = '-1',
    'row-tracking.enabled' = 'true',
    'data-evolution.enabled' = 'true'
);

-- 创建 rt 分支作为 source 分支
CALL paimon.sys.create_branch(
    table  => 'demo.multimodal_assets',
    branch => 'rt'
);

步骤二:配置 source 分支并申请开通

为 rt 分支启用流式列更新,并将 main 指定为 target 分支。

ALTER TABLE paimon.demo.`multimodal_assets$branch_rt`
SET TBLPROPERTIES (
    'morax.de-upsert.enabled' = 'true',
    'morax.de-upsert.target-branch' = 'main',
    'morax.de-upsert.upsert-keys' = 'asset_id'
);

配置完成后,向阿里云技术支持提供所建多模态表的表名,申请开通 DLF 多模态表流式列更新能力。

说明

确认功能已开通后,再执行步骤三中的写入操作。

步骤三:向 source 分支追加数据并查询 target 分支

  1. 元数据、打标、特征提取三个独立任务分别向 rt 分支追加同一素材的数据,每次写入均携带 asset_id,不更新的字段填写 NULL。示例中各条写入按顺序执行,实际场景中三个任务可并发写入 rt 分支;合并结果取决于各次写入 source 分支的顺序,每个字段保留最后一次非 NULL 写入的值。

    -- 元数据任务:写入素材名称和负责人
    INSERT INTO paimon.demo.`multimodal_assets$branch_rt`
    VALUES (1, 'sample-video', 'alice', NULL, NULL);
    
    -- 打标任务:补充标签
    INSERT INTO paimon.demo.`multimodal_assets$branch_rt`
    VALUES (1, NULL, NULL, array(2, 8), NULL);
    
    -- 特征提取任务:补充向量
    INSERT INTO paimon.demo.`multimodal_assets$branch_rt`
    VALUES (
        1, NULL, NULL, NULL,
        CAST(array(0.1, 0.2) AS ARRAY<FLOAT>)
    );
  2. 元数据任务将该素材的负责人改为 bob,仍通过追加写入完成更新,无需携带已有的标签和向量。

    INSERT INTO paimon.demo.`multimodal_assets$branch_rt`
    VALUES (1, NULL, 'bob', NULL, NULL);
  3. 数据异步同步到 target 分支。待上述写入同步完成后,查询主表。

    SELECT asset_id, name, owner, tags, embedding
    FROM paimon.demo.multimodal_assets
    ORDER BY asset_id;

    预期结果如下:

    asset_id

    name

    owner

    tags

    embedding

    1

    sample-video

    bob

    [2, 8]

    [0.1, 0.2]

    rt 分支的 4 条 asset_id = 1 追加记录,合并为主表的一条完整记录:负责人更新为 bob,素材名称、标签和向量保留各任务写入的结果。