创建同步Paimon

功能限制

• 源 Topic 必须为 Tuple 类型，暂不支持 Blob Topic。

• 目标 Warehouse 必须位于用户自己的 OSS Bucket 中，格式为 oss://<bucket>/<path>。

• 当前邀测版本暂不支持带主键的 Paimon 表。

• 当前邀测版本暂不支持同步 DataHub JSON 类型字段。

• 同步任务采用至少一次（At-least-once）语义。目标表为 Append 表时，异常重试等场景可能产生重复数据，下游应根据业务需要进行去重。

• DataHub Topic 与 OSS Bucket 必须位于同一 Region。

准备工作

创建同步任务

查看和管理任务

进入 Topic 详情页的 同步任务 页签，选择 Paimon 任务查看运行详情。

重点关注以下信息：

• 任务状态：任务和各 Shard 对应 Task 应处于 RUNNING 或 EXECUTING 状态。

• 同步点位：表示任务已消费到的 DataHub 数据位置。

• 同步延迟：持续增大时，应检查源 Topic 流量、OSS 访问和任务错误信息。

• 脏数据量：存在脏数据时，应检查字段类型、NULL 值和分区字段配置。

• 重启/停止：配置或权限调整后，可按需重启任务。

使用实时计算 Flink 版验证同步结果

创建任务并向 Topic 写入测试数据后，可以在阿里云实时计算 Flink 版（VVP）中查询用户 OSS 上的 Paimon 表，确认数据是否已提交。

1. 参考管理Paimon Catalog，在实时计算 Flink 版中创建 Paimon Catalog。

2. 确认 Catalog 配置的 Warehouse 与 DataHub 同步任务中的 Warehouse 完全一致，并具有对应 OSS 路径的访问权限。

3. 在 SQL 开发页面执行以下查询：

USE CATALOG `<catalog-name>`;
USE `<database>`;

SET 'execution.runtime-mode' = 'batch';

SHOW TABLES;

SELECT *
FROM `<table>`
LIMIT 10;

也可以使用完整表名直接查询：

SELECT *
FROM `<catalog-name>`.`<database>`.`<table>`
LIMIT 10;

如果使用时间分区，可以增加分区条件，例如：

SELECT *
FROM `<table>`
WHERE ds = '20260810'
  AND hh = '15'
LIMIT 10;

常见问题