Fluss数据源

更新时间:
复制 MD 格式

Fluss是面向实时分析与AI场景的流式存储系统(Apache Fluss)。DataWorks数据集成支持将MySQL、MongoDB、Kafka等数据源的数据,通过离线或实时同步任务写入Fluss表,并支持自动建表与部分Schema Evolution(结构变更)能力。

重要

Fluss数据源当前仅支持作为数据同步的目的端(Writer),不支持作为源端(Reader)读取数据。

支持的Fluss版本

  • 离线写、实时写:支持阿里云Fluss服务,数据集成内置Fluss客户端为0.9系列(fluss-client 0.9-ali-catalog-4.0)。

  • 连接方式:仅支持连接串模式,通过Fluss集群的连接地址(Endpoint,格式为host:port,例如fluss-cn-xxx.fluss.aliyuncs.com:9123)直连集群。

使用限制

同步通道与资源组

  • 支持以下同步通道:

    源端

    目的端

    支持的同步方案

    MySQL

    Fluss

    整库离线、整库实时

    MongoDB

    Fluss

    整库离线、整库实时

    Kafka

    Fluss

    单表实时

  • 支持单表实时同步(例如Kafka→Fluss),支持自动建表、列映射、移除列与动态列处理。

  • 不支持单表离线同步,不支持以Fluss为源端的任何同步任务。

  • Fluss目的端仅支持通用型资源组(Serverless资源组)。任务中配置的离线资源组与实时资源组均必须为通用型资源组,任一阶段绑定其他类型资源组都会校验失败。

离线写与实时写

离线写(整库同步的批量阶段)与实时写均运行在DataXCDC引擎上,写入行为一致:

  • 自动建表仅创建Fluss主键表,要求源表必须有主键;无主键的源表需要手动指定主键。

  • 写入已存在的Fluss主键表时,INSERT/UPDATE按主键Upsert写入,DELETE按主键删除。

  • 写入已存在的Fluss非主键表(日志表)时,仅支持Append追加写入;同步到UPDATE或DELETE事件会报错。

  • DELETE事件仅要求源端包含主键、Bucket Key、分区键列,其余列可以缺失。

  • 源端缺失的列:若该列是目标表主键列、Bucket Key 列、分区键列或 NOT NULL 列,任务报错;其余可空列自动补NULL。

  • 列名映射优先精确匹配,其次大小写不敏感匹配;若大小写不敏感匹配存在歧义(多个候选列),任务报错,需要显式配置列映射。

Schema Evolution(结构变更)

  • 支持的DDL事件:

    • CREATE TABLE:自动创建Fluss主键表,保留表注释与列注释。

    • ADD COLUMN:仅支持在表末尾加列(不支持FIRST/AFTER指定位置);新增列一律以可空类型创建(Fluss不允许新增NOT NULL列)。若列已存在且类型一致则幂等跳过;若列已存在但类型不一致则报错。

    • DROP TABLE:事件被忽略,不会删除目标端Fluss表。

  • 不支持的DDL事件:删除列、修改列类型、重命名列/表、修改主键、修改Bucket Key等,同步任务遇到此类事件会报错。

  • 自动建表时,Bucket Key默认为主键列,可通过bucketKeys、bucketNum参数自定义;bucketNum必须大于0。

字段类型限制

  • DECIMAL精度上限为38,即1≤precision≤38、0≤scale≤precision,超出会报错。

  • TIME类型:当前Fluss客户端(0.9系列)以毫秒存储TIME值。TIME(p)精度p>3时,无法写入亚毫秒精度的值(报错);p<3时按精度截断毫秒。

  • 不支持TIMESTAMP WITH TIME ZONE类型;带时区语义请使用TIMESTAMP_LTZ(TIMESTAMP WITH LOCAL TIME ZONE)。

  • MAP类型的Key不允许为NULL;多个源Key转换后若得到相同的Fluss Key会报错。

  • FLOAT/DOUBLE不支持NaN与Infinity,写入会报错。

支持的字段类型

Fluss仅作为目的端,以下为您罗列Fluss字段类型在写入场景的支持情况。

字段类型

写入是否支持

说明

BOOLEAN

支持

字符串"true"/"false"/"1"/"0"可自动转换

TINYINT

支持

数值溢出报错

SMALLINT

支持

数值溢出报错

INT

支持

数值溢出报错

BIGINT

支持

数值溢出报错

FLOAT

支持

不支持NaN/Infinity

DOUBLE

支持

不支持NaN/Infinity

DECIMAL(p,s)

支持

1≤p≤38,0≤s≤p,超出精度报错

CHAR(n)

支持

-

STRING

支持

VARCHAR/TEXT等字符串类型统一映射为STRING

DATE

支持

-

TIME(p)

支持

客户端以毫秒存储,p>3时无法表示亚毫秒值

TIMESTAMP(p)

支持

默认精度6,按目标精度截断

TIMESTAMP_LTZ(p)

支持

默认精度6,按目标精度截断

BINARY(n)

支持

-

BYTES

支持

VARBINARY/BLOB等统一映射为BYTES

ARRAY

支持

元素类型递归转换

MAP

支持

Key不可为NULL且转换后不可重复

ROW

支持

嵌套字段按名称映射,缺失字段报错

准备工作

  1. 已创建阿里云Fluss集群,并在集群管理页面获取连接地址(Endpoint),格式为host:port,例如fluss-cn-xxx.fluss.aliyuncs.com:9123。

  2. 已在Fluss集群中创建目标数据库(Database),并获取具备访问权限的用户名与密码。Fluss数据源当前仅支持SASL_PLAINTEXT认证协议、PLAIN机制。

  3. 已购买通用型资源组(Serverless资源组),并确保资源组与Fluss集群Endpoint网络连通。创建数据源后建议执行连通性测试验证。

  4. 确认源端表具备主键。自动建表仅支持创建Fluss主键表;若源表无主键,需提前在Fluss中手动建表,且非主键表仅支持Append写入场景。

创建数据源

进入DataWorks管理中心的数据源管理页面,新增Fluss类型数据源。Fluss数据源仅支持连接串模式,配置参数如下。

参数

是否必选

描述

数据源名称

是

自定义数据源名称。

数据源描述

否

数据源的补充说明。

配置模式

是

仅支持连接串模式。

Endpoint

是

Fluss集群的连接地址,格式为host:port,例如fluss-cn-xxx.fluss.aliyuncs.com:9123。可在Fluss集群管理页面获取。

数据库名称

是

Fluss集群中已存在的Database名称。

特殊认证方式

是

仅支持SASL_PLAINTEXT。

Sasl机制

是

仅支持PLAIN。

用户名

是

访问Fluss集群的用户名。

密码

是

访问Fluss集群的密码。保存后加密存储。

配置完成后,选择通用型资源组进行连通性测试。测试会验证集群节点可达、认证通过且配置的数据库存在;测试失败时请检查Endpoint格式、网络连通性与账号密码。

数据同步任务开发

单表实时同步

支持将Kafka Topic数据实时写入Fluss表,仅支持实时增量方案,不支持全量阶段。支持以下能力:

  • 自动建表:目标表不存在时,根据源端结构与列类型映射自动创建Fluss主键表,支持编辑建表结构。

  • 列映射:配置源端列与目标端列的映射关系,支持移除不需要写入的列。

  • 动态列处理:源端新增列时按配置的动态列策略处理(目标端仅支持末尾加列)。

整库同步

在数据集成中新建整库同步任务,源端支持MySQL或MongoDB数据源,目的端选择Fluss数据源,支持以下同步方案:

  • 整库离线:一次性全量迁移,支持周期性离线增量。

  • 整库实时:先全量迁移再自动衔接实时增量。

任务支持批量自动建表(要求源表有主键)、表名映射与DDL消息处理策略配置。离线阶段与实时阶段使用的资源组均必须为通用型资源组。

常见问题

  • Q:为什么Fluss同步任务无法选择独享调度资源组或旧版独享数据集成资源组?

    A:Fluss目的端仅支持通用型资源组(Serverless资源组),且离线、实时两个阶段的资源组都必须为通用型。请更换资源组后重试。

  • Q:报错"Operation ... requires a Fluss primary-key table"如何处理?

    A:目标Fluss表是非主键表(日志表),仅支持Append写入,但同步链路中出现了UPDATE或DELETE事件。请将目标表改为主键表,或在源端过滤更新/删除事件。

  • Q:自动建表报错"Fluss primary-key table requires a primary key"如何处理?

    A:源表没有主键,无法自动创建Fluss主键表。请为源表补充主键,或手动在Fluss中建表后使用已有表同步。

  • Q:ADD COLUMN同步报错如何处理?

    A:常见原因可能是下面两种,加列位置不是末尾(Fluss仅支持LAST位置);新增列与目标表已有列同名但类型不一致。请调整源端DDL或手动处理目标表结构。

  • Q:报错"Ambiguous case-insensitive field mapping"如何处理?

    A:源端与目标端存在多个仅大小写不同的同名列,自动映射产生歧义。请在任务中显式配置列映射。

  • Q:TIME类型写入报错"cannot represent value"如何处理?

    A:当前Fluss客户端以毫秒存储TIME,目标列精度大于3且源端值包含亚毫秒部分时无法写入。请将目标列精度调整为3以内,或去除源端亚毫秒精度。

附录:自动建表类型映射

整库任务的自动建表(结构同步阶段)按源端类型分别使用一套默认列类型映射,映射在建任务时写入任务配置,之后可按任务修改。主键列强制 NOT NULL,其余列的可空性跟随源端列定义;未匹配的源端类型使用目标端默认类型 STRING。

MySQL → Fluss 默认映射

源端列类型(MySQL)

Fluss类型

说明

TINYINT / TINYINT UNSIGNED / SMALLINT / SMALLINT UNSIGNED / MEDIUMINT / INT / INTEGER / INT UNSIGNED / BIGINT / BIGINT UNSIGNED

BIGINT

整型统一收敛为 BIGINT

FLOAT / DOUBLE / DECIMAL / NUMERIC

DECIMAL(38,18)

统一转为 DECIMAL(38,18),不继承源端精度与小数位

BIT / BOOL / BOOLEAN

BOOLEAN

—

DATE / DATETIME / TIMESTAMP / TIME

TIMESTAMP_LTZ

时间类型统一转为 TIMESTAMP_LTZ

CHAR / VARCHAR / TEXT / TINYTEXT / MEDIUMTEXT / LONGTEXT / JSON / YEAR

STRING

字符串类型统一转为 STRING,不保留长度

BINARY / VARBINARY / TINYBLOB / MEDIUMBLOB

BYTES

二进制类型统一转为 BYTES,不保留长度

MongoDB → Fluss 默认映射

源端类型(MongoDB)

Fluss类型

说明

INT / LONG

BIGINT

—

BOOL

BOOLEAN

—

DOUBLE / DECIMAL

DECIMAL(38,18)

—

DATE / TIMESTAMP

TIMESTAMP_LTZ(6)

精度固定为 6

STRING / OBJECTID / ARRAY / REGEX / JAVASCRIPT / NULL / MINKEY / MAXKEY

STRING

非数值类型统一转为 STRING

Fluss 目标端支持的类型:TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL(p,s)(0≤p≤38、0≤s≤18)、DATE、TIME(不支持精度)、TIMESTAMP、TIMESTAMP_LTZ(精度 0~9)、CHAR、STRING、BYTES、BOOLEAN。上述默认映射不会产生 TIME、CHAR、BINARY、ARRAY、MAP、ROW 类型,如有需要请在任务中修改列类型映射或建表结构。

映射在建任务时写入任务配置,后续调整默认参数或修改任务映射只影响之后的结构同步;已创建的表不会自动变更。Fluss 任务的 DDL 处理策略中 CREATE TABLE 默认为「忽略」,引擎不执行 DDL 建表,实际建表由整库任务的结构同步阶段完成。