数据集成

方式

描述

离线

基于批量调度机制的数据传输方式，通过周期任务（小时/天级）将源数据全量或增量迁移至目标端。

实时

通过流式处理引擎实时捕获源端变更数据（CDC日志），实现秒级延迟的数据同步。

单表

针对单张表的数据传输，支持精细化的字段映射与转换规则及控制配置。

整库

将源数据库实例内多张表结构及数据一次性迁移至目标端，支持自动建表。可单任务同步多张表，减少任务数量和资源消耗。

分库分表

将源端多个表结构一致的表写入目标端单表，自动识别分库分表路由规则，合并数据。

全量

一次性迁移源表所有历史数据，通常用于初始化数仓或数据归档。

增量

仅同步源端新增或变更的数据（如INSERT/UPDATE），数据集成支持离线和实时两种增量模式，分别通过设置数据过滤（增量条件）和读取源端CDC数据实现。

全增量

一次性全量同步历史数据后，自动衔接增量数据的写入。数据集成多种场景的全增量同步。根据数据来源和去向的数据源特性及时效性要求，按需选择使用。

• 离线场景：一次性全量周期性增量。适用于对数据时效性要求不高，且源端表中有合适的增量字段（如modify_time）类型的数据源。

• 实时场景：一次性全量实时增量。适用于对数据有比较高的时效性要求，且源端为消息队列或者支持开启CDC日志的数据库。

• 准实时场景：一次性全量入Base表，实时增量写入Log表，T+1将Log表的数据合并入Base表。准实时场景为实时场景的补充，适用于目标端不支持更新或者删除的表格式类型，如MaxCompute的常规类型表。

概念

描述

数据同步

数据同步是指读取源端数据源的数据经过一定的抽取和过滤写入目标端。数据集成专注于可抽象解析为逻辑二维表结构的数据的传输，本身不提供数据流的消费和ETL转换。

数据集成同步仅支持至少一次传输保障机制（at least once），暂不支持精确传输（exactly-once），即传输后数据可能出现重复，只能依赖主键和目标端能力来保证。

字段映射

字段映射定义了同步任务中源端与目标端数据的读写对应关系。配置时需严格检查两端字段类型的兼容性，避免因类型不匹配引发转换错误，产生脏数据或导致任务失败。常见风险包括：

• 类型转换失败：源端与目标端字段类型不一致（如源端为String而目标端为Integer），将直接导致任务中断或产生脏数据。

• 精度与范围损失：如果目标端字段类型最大值小于源端最大值（或最小值大于源端最小值，或精度低于源端精度），可能会导致写入失败或精度被截断的风险（不区分源端和目标端类型，也不区分离线还是实时同步）。

并发数

并发数是数据同步任务中，可以从源并行读取或并行写入数据存储端的最大线程数。

限速

限速是数据集成同步任务可以达到的传输速度限制。

脏数据

脏数据指无效、格式错误或同步异常的数据。当单条数据写入目标端失败时，该数据即被归类为脏数据（如源端VARCHAR类型无法转换为目标端INT类型）。可在任务配置中控制脏数据容忍策略：设置阈值限制脏数据条数，超过阈值则任务失败退出。

若因脏数据导致任务失败，​已成功写入的数据不会回滚。数据集成采用批量写入机制，批量异常时回滚能力取决于目标端是否支持事务，数据集成本身不提供事务支持。

数据源

数据源作为DataWorks中连接外部系统的标准化配置单元，通过预置多种异构数据源连接模板​（如MaxCompute、MySQL、OSS等），为数据集成任务提供统一的读写端点定义。

数据一致性

数据集成同步仅支持至少一次传输保障机制（at least once），暂不支持精确传输（exact once），即传输后数据可能出现重复，只能依赖主键和目标端能力来保证。