DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。
功能概述
DataWorks数据集成支持离线同步、实时同步,以及离线和实时一体化的全增量同步。其中:
- 离线同步场景下,支持设置离线同步任务的调度周期。
- 支持数据库、数仓、NoSQL数据库、文件存储、消息队列等近50多种不同异构数据源之间的数据同步。
- 支持在各类复杂网络环境下,连通数据源的网络解决方案,无论数据源在公网、IDC还是VPC内,均可使用DataWorks数据集成实现网络连通。
- 支持安全控制与运维监控,保障数据同步的安全、可控。
核心技术与架构
- 引擎架构
采用星形引擎架构,数据源接入数据集成后,即可与其他各类型数据源组成同步链路进行数据同步。当前支持的数据源请参见支持的数据源与读写插件、实时同步支持的数据源。
- 数据集成资源组与网络连通
如上图所示,进行数据同步前,需通过合适的网络连通方案将数据库和数据集成资源组间的网络打通。DataWorks当前支持使用独享数据集成资源组或自定义数据集成资源组,不同资源组的属性与适用场景不同,网络连通方案详情请参见选择网络连通方案。
适用场景
DataWorks数据集成适用于数据入湖入仓、分库分表、实时数据归档、云间数据流转等数据传输场景。
计费
运行数据集成任务可能产生的费用由以下几部分组成:
- 运行数据集成任务所需的数据集成资源组费用。
计费详情请参见独享数据集成资源组计费说明:包年包月、公共数据集成资源组:按量计费。
- 运行数据集成任务所需的调度资源组费用。
计费详情请参见独享调度资源组计费说明:包年包月、公共调度资源组计费说明:按量付费。
- (可选)运行数据集成任务所需的公网流量费用。
如果数据集成任务通过公网进行数据传输,会涉及公网流量费用,计费详情请参见公网流量计费说明。
说明 运行数据集成任务时,可能会产生由数据同步任务相关配置引起的账单和费用,如同步上下游数据库、计算引擎系统计算和存储费用,所需网络服务费用(如高速通道、共享带宽、EIP)等等,此类收费不属于DataWorks相关收费范畴,账单也不会体现在DataWorks产品下。
开通使用
开通DataWorks版本后,您即可根据需要购买数据集成资源组,选择合适的同步方案开发数据集成任务。开通使用的操作详情请参见数据集成章节。