DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。
功能概述
DataWorks的数据集成支持离线同步、实时同步,以及离线和实时一体化的全增量同步。其中:
离线同步场景下,支持设置离线同步任务的调度周期。
支持关系型数据库、数仓、非关系型数据库、文件存储、消息队列等近50多种不同异构数据源之间的数据同步。
支持在各类复杂网络环境下,连通数据源的网络解决方案,无论数据源在公网、IDC还是VPC内,均可使用DataWorks数据集成实现网络连通。
支持安全控制与运维监控,保障数据同步的安全、可控。
核心技术与架构
引擎架构采用星形引擎架构,数据源接入数据集成后,即可与其他各类型数据源组成同步链路进行数据同步。当前支持的数据源请参见支持的数据源及同步方案。
数据集成资源组与网络连通
如上图所示,进行数据同步前,需通过合适的网络连通方案将数据源和资源组间的网络连通。当前仅支持使用Serverless资源组(推荐)和旧版独享数据集成资源组运行数据集成任务,网络连通方案详情请参见网络连通方案。
适用场景
DataWorks数据集成适用于数据入湖入仓、分库分表、实时数据归档、云间数据流转等数据传输场景。
计费
运行数据集成同步任务的相关费用如下:
DataWorks侧收费(费用在DataWorks相关账单中)
数据同步费用:请参见数据集成计费说明。
任务调度费用:若同步任务发布至生产环境调度运行,会产生调度费用。详情请参见任务调度计费说明。
(可选)DataWorks版本费用:如使用非基础版DataWorks,会收取相应版本费用。详情请参见DataWorks版本服务计费说明。
非DataWorks侧收费(费用不在DataWorks相关账单中)
运行数据集成任务时,部分可能由
同步任务相关配置
产生的费用不在DataWorks收取。例如,同步上下游数据产生的数据库费用
、计算引擎的计算和存储费用
,所需网络服务费用(如高速通道、共享带宽、EIP)
等。说明任务配置完成后,请及时确认非DataWorks相关资源产生的费用问题。
开通使用
开通DataWorks版本后,您可按需购买资源组,选择合适的同步方案开发数据集成任务。详情请参见数据集成章节。