Fluss是面向实时分析与AI场景的流式存储系统(Apache Fluss)。DataWorks数据集成支持将MySQL、MongoDB、Kafka等数据源的数据,通过离线或实时同步任务写入Fluss表,并支持自动建表与部分Schema Evolution(结构变更)能力。
Fluss数据源当前仅支持作为数据同步的目的端(Writer),不支持作为源端(Reader)读取数据。
支持的Fluss版本
离线写、实时写:支持阿里云Fluss服务,数据集成内置Fluss客户端为0.9系列(fluss-client 0.9-ali-catalog-4.0)。
连接方式:仅支持连接串模式,通过Fluss集群的连接地址(Endpoint,格式为
host:port,例如fluss-cn-xxx.fluss.aliyuncs.com:9123)直连集群。
使用限制
同步通道与资源组
支持以下同步通道:
源端
目的端
支持的同步方案
MySQL
Fluss
整库离线、整库实时
MongoDB
Fluss
整库离线、整库实时
Kafka
Fluss
单表实时
支持单表实时同步(例如Kafka→Fluss),支持自动建表、列映射、移除列与动态列处理。
不支持单表离线同步,不支持以Fluss为源端的任何同步任务。
Fluss目的端仅支持通用型资源组(Serverless资源组)。任务中配置的离线资源组与实时资源组均必须为通用型资源组,任一阶段绑定其他类型资源组都会校验失败。
离线写与实时写
离线写(整库同步的批量阶段)与实时写均运行在DataXCDC引擎上,写入行为一致:
自动建表仅创建Fluss主键表,要求源表必须有主键;无主键的源表需要手动指定主键。
写入已存在的Fluss主键表时,INSERT/UPDATE按主键Upsert写入,DELETE按主键删除。
写入已存在的Fluss非主键表(日志表)时,仅支持Append追加写入;同步到UPDATE或DELETE事件会报错。
DELETE事件仅要求源端包含主键、Bucket Key、分区键列,其余列可以缺失。
源端缺失的列:若该列是目标表主键列、Bucket Key 列、分区键列或 NOT NULL 列,任务报错;其余可空列自动补NULL。
列名映射优先精确匹配,其次大小写不敏感匹配;若大小写不敏感匹配存在歧义(多个候选列),任务报错,需要显式配置列映射。
Schema Evolution(结构变更)
支持的DDL事件:
CREATE TABLE:自动创建Fluss主键表,保留表注释与列注释。
ADD COLUMN:仅支持在表末尾加列(不支持FIRST/AFTER指定位置);新增列一律以可空类型创建(Fluss不允许新增NOT NULL列)。若列已存在且类型一致则幂等跳过;若列已存在但类型不一致则报错。
DROP TABLE:事件被忽略,不会删除目标端Fluss表。
不支持的DDL事件:删除列、修改列类型、重命名列/表、修改主键、修改Bucket Key等,同步任务遇到此类事件会报错。
自动建表时,Bucket Key默认为主键列,可通过
bucketKeys、bucketNum参数自定义;bucketNum必须大于0。
字段类型限制
DECIMAL精度上限为38,即
1≤precision≤38、0≤scale≤precision,超出会报错。TIME类型:当前Fluss客户端(0.9系列)以毫秒存储TIME值。
TIME(p)精度p>3时,无法写入亚毫秒精度的值(报错);p<3时按精度截断毫秒。不支持TIMESTAMP WITH TIME ZONE类型;带时区语义请使用TIMESTAMP_LTZ(TIMESTAMP WITH LOCAL TIME ZONE)。
MAP类型的Key不允许为NULL;多个源Key转换后若得到相同的Fluss Key会报错。
FLOAT/DOUBLE不支持NaN与Infinity,写入会报错。
支持的字段类型
Fluss仅作为目的端,以下为您罗列Fluss字段类型在写入场景的支持情况。
字段类型 | 写入是否支持 | 说明 |
BOOLEAN | 支持 | 字符串"true"/"false"/"1"/"0"可自动转换 |
TINYINT | 支持 | 数值溢出报错 |
SMALLINT | 支持 | 数值溢出报错 |
INT | 支持 | 数值溢出报错 |
BIGINT | 支持 | 数值溢出报错 |
FLOAT | 支持 | 不支持NaN/Infinity |
DOUBLE | 支持 | 不支持NaN/Infinity |
DECIMAL(p,s) | 支持 | 1≤p≤38,0≤s≤p,超出精度报错 |
CHAR(n) | 支持 | - |
STRING | 支持 | VARCHAR/TEXT等字符串类型统一映射为STRING |
DATE | 支持 | - |
TIME(p) | 支持 | 客户端以毫秒存储,p>3时无法表示亚毫秒值 |
TIMESTAMP(p) | 支持 | 默认精度6,按目标精度截断 |
TIMESTAMP_LTZ(p) | 支持 | 默认精度6,按目标精度截断 |
BINARY(n) | 支持 | - |
BYTES | 支持 | VARBINARY/BLOB等统一映射为BYTES |
ARRAY | 支持 | 元素类型递归转换 |
MAP | 支持 | Key不可为NULL且转换后不可重复 |
ROW | 支持 | 嵌套字段按名称映射,缺失字段报错 |
准备工作
已创建阿里云Fluss集群,并在集群管理页面获取连接地址(Endpoint),格式为
host:port,例如fluss-cn-xxx.fluss.aliyuncs.com:9123。已在Fluss集群中创建目标数据库(Database),并获取具备访问权限的用户名与密码。Fluss数据源当前仅支持SASL_PLAINTEXT认证协议、PLAIN机制。
已购买通用型资源组(Serverless资源组),并确保资源组与Fluss集群Endpoint网络连通。创建数据源后建议执行连通性测试验证。
确认源端表具备主键。自动建表仅支持创建Fluss主键表;若源表无主键,需提前在Fluss中手动建表,且非主键表仅支持Append写入场景。
创建数据源
进入DataWorks管理中心的数据源管理页面,新增Fluss类型数据源。Fluss数据源仅支持连接串模式,配置参数如下。
参数 | 是否必选 | 描述 |
数据源名称 | 是 | 自定义数据源名称。 |
数据源描述 | 否 | 数据源的补充说明。 |
配置模式 | 是 | 仅支持连接串模式。 |
Endpoint | 是 | Fluss集群的连接地址,格式为 |
数据库名称 | 是 | Fluss集群中已存在的Database名称。 |
特殊认证方式 | 是 | 仅支持SASL_PLAINTEXT。 |
Sasl机制 | 是 | 仅支持PLAIN。 |
用户名 | 是 | 访问Fluss集群的用户名。 |
密码 | 是 | 访问Fluss集群的密码。保存后加密存储。 |
配置完成后,选择通用型资源组进行连通性测试。测试会验证集群节点可达、认证通过且配置的数据库存在;测试失败时请检查Endpoint格式、网络连通性与账号密码。
数据同步任务开发
单表实时同步
支持将Kafka Topic数据实时写入Fluss表,仅支持实时增量方案,不支持全量阶段。支持以下能力:
自动建表:目标表不存在时,根据源端结构与列类型映射自动创建Fluss主键表,支持编辑建表结构。
列映射:配置源端列与目标端列的映射关系,支持移除不需要写入的列。
动态列处理:源端新增列时按配置的动态列策略处理(目标端仅支持末尾加列)。
整库同步
在数据集成中新建整库同步任务,源端支持MySQL或MongoDB数据源,目的端选择Fluss数据源,支持以下同步方案:
整库离线:一次性全量迁移,支持周期性离线增量。
整库实时:先全量迁移再自动衔接实时增量。
任务支持批量自动建表(要求源表有主键)、表名映射与DDL消息处理策略配置。离线阶段与实时阶段使用的资源组均必须为通用型资源组。
常见问题
Q:为什么Fluss同步任务无法选择独享调度资源组或旧版独享数据集成资源组?
A:Fluss目的端仅支持通用型资源组(Serverless资源组),且离线、实时两个阶段的资源组都必须为通用型。请更换资源组后重试。
Q:报错"Operation ... requires a Fluss primary-key table"如何处理?
A:目标Fluss表是非主键表(日志表),仅支持Append写入,但同步链路中出现了UPDATE或DELETE事件。请将目标表改为主键表,或在源端过滤更新/删除事件。
Q:自动建表报错"Fluss primary-key table requires a primary key"如何处理?
A:源表没有主键,无法自动创建Fluss主键表。请为源表补充主键,或手动在Fluss中建表后使用已有表同步。
Q:ADD COLUMN同步报错如何处理?
A:常见原因可能是下面两种,加列位置不是末尾(Fluss仅支持LAST位置);新增列与目标表已有列同名但类型不一致。请调整源端DDL或手动处理目标表结构。
Q:报错"Ambiguous case-insensitive field mapping"如何处理?
A:源端与目标端存在多个仅大小写不同的同名列,自动映射产生歧义。请在任务中显式配置列映射。
Q:TIME类型写入报错"cannot represent value"如何处理?
A:当前Fluss客户端以毫秒存储TIME,目标列精度大于3且源端值包含亚毫秒部分时无法写入。请将目标列精度调整为3以内,或去除源端亚毫秒精度。
附录:自动建表类型映射
整库任务的自动建表(结构同步阶段)按源端类型分别使用一套默认列类型映射,映射在建任务时写入任务配置,之后可按任务修改。主键列强制 NOT NULL,其余列的可空性跟随源端列定义;未匹配的源端类型使用目标端默认类型 STRING。
MySQL → Fluss 默认映射
源端列类型(MySQL) | Fluss类型 | 说明 |
TINYINT / TINYINT UNSIGNED / SMALLINT / SMALLINT UNSIGNED / MEDIUMINT / INT / INTEGER / INT UNSIGNED / BIGINT / BIGINT UNSIGNED | BIGINT | 整型统一收敛为 BIGINT |
FLOAT / DOUBLE / DECIMAL / NUMERIC | DECIMAL(38,18) | 统一转为 DECIMAL(38,18),不继承源端精度与小数位 |
BIT / BOOL / BOOLEAN | BOOLEAN | — |
DATE / DATETIME / TIMESTAMP / TIME | TIMESTAMP_LTZ | 时间类型统一转为 TIMESTAMP_LTZ |
CHAR / VARCHAR / TEXT / TINYTEXT / MEDIUMTEXT / LONGTEXT / JSON / YEAR | STRING | 字符串类型统一转为 STRING,不保留长度 |
BINARY / VARBINARY / TINYBLOB / MEDIUMBLOB | BYTES | 二进制类型统一转为 BYTES,不保留长度 |
MongoDB → Fluss 默认映射
源端类型(MongoDB) | Fluss类型 | 说明 |
INT / LONG | BIGINT | — |
BOOL | BOOLEAN | — |
DOUBLE / DECIMAL | DECIMAL(38,18) | — |
DATE / TIMESTAMP | TIMESTAMP_LTZ(6) | 精度固定为 6 |
STRING / OBJECTID / ARRAY / REGEX / JAVASCRIPT / NULL / MINKEY / MAXKEY | STRING | 非数值类型统一转为 STRING |
Fluss 目标端支持的类型:TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL(p,s)(0≤p≤38、0≤s≤18)、DATE、TIME(不支持精度)、TIMESTAMP、TIMESTAMP_LTZ(精度 0~9)、CHAR、STRING、BYTES、BOOLEAN。上述默认映射不会产生 TIME、CHAR、BINARY、ARRAY、MAP、ROW 类型,如有需要请在任务中修改列类型映射或建表结构。
映射在建任务时写入任务配置,后续调整默认参数或修改任务映射只影响之后的结构同步;已创建的表不会自动变更。Fluss 任务的 DDL 处理策略中 CREATE TABLE 默认为「忽略」,引擎不执行 DDL 建表,实际建表由整库任务的结构同步阶段完成。