使用DataWorks/DataX、表格存储的通道服务等迁移工具,在不影响业务的情况下,您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。
迁移工具选择
迁移数据时,请根据实际业务选择合适的迁移工具。表格存储支持的迁移工具请参见下表。
迁移工具 | 说明 | 应用场景 |
DataWorks数据集成是稳定高效、弹性伸缩的数据同步平台,底层实现依赖于DataX离线数据同步工具。适用于MySQL、Oracle、SQLServer等多种异构数据源之间的数据迁移同步。 DataWorks/DataX将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件。更多信息,请分别参见DataWorks数据集成或者DataX。 | ||
通道服务(Tunnel Service)是基于表格存储数据接口之上的全增量一体化服务。适用于源表为表格存储数据表的数据迁移同步。 通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道,可以简单地实现对表中历史存量和新增数据的消费处理。更多信息,请参见通道服务。 | ||
数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助您构建安全、可扩展、高可用的数据架构。更多信息,请参见什么是数据传输服务DTS。 | ||
canal基于MySQL数据库增量日志解析,提供增量数据订阅和消费功能,是阿里开源CDC工具,它可以获取MySQL binlog数据并解析,然后将数据变动传输给下游。基于canal,您可以实现从MySQL到其他数据库的实时同步。更多信息,请参见canal官网。 | ||
Tapdata Cloud是由Tapdata提供的集数据复制、数据发为一体的实时数据服务,能够在跨云、跨地域、多类型数据源的场景下,提供毫秒级的实时数据同步服务和数据融合服务。更多信息,请参见什么是Tapdata。 |
DataWorks/DataX
使用DataWorks/DataX不仅可以将数据库迁移同步到表格存储,也可以实现表格存储表中数据的跨实例或者跨账号的迁移同步。
将数据库数据迁移到表格存储
DataWorks/DataX提供各种异构数据源之间稳定高效的数据同步功能,可以实现将多种数据库迁移到表格存储,如下图所示。
说明DataWorks/DataX支持的数据源与读写插件详情请分别参见DataWorks支持的数据源与读写插件或者DataX支持的数据源与读写插件。
表格存储数据跨实例或者跨账号迁移同步
通过在DataWorks/DataX中配置表格存储相关的Reader和Writer插件,即可以完成表格存储数据表或者时序表的数据复制,如下图所示。表格存储相关的插件说明请参见下表。
插件
说明
用于读取表格存储表中的数据,并可以通过指定抽取数据范围实现数据增量抽取的需求。
用于增量导出表格存储表中的数据。
用于向表格存储中写入数据。
通道服务
使用通道服务可以轻松构建高效和弹性的数据复制解决方案。
数据传输服务DTS
数据传输服务DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段:
同步初始化:DTS先开始收集增量数据,然后将源数据库的结构和存量数据加载到目标数据库。
数据实时同步:DTS同步正在进行的数据变更,并保持源数据库和目标数据库的同步。
canal
使用canal同步数据时,Deployer服务负责从上游拉取binlog数据、记录位点等,Client-Adapter服务负责对接Deployer解析过的数据,并将数据传输到目标库中。
Tapdata Cloud
使用Tapdata Cloud同步数据时,Tapdata agent负责从Tapdata cloud manager(TCM)获取任务信息,通过流式技术从源系统获取数据、处理转换数据并发送到目标系统。
计费说明
使用的迁移工具不同时,计费规则如下:
在使用迁移工具或其他产品(例如DTS、阿里云物联网平台等)访问表格存储时,表格存储会根据具体的读写请求按照读写吞吐量计量计费。
当前通道服务本身没有额外的费用开销。在消费通道服务数据时,表格存储会根据实际拉取的数据产生读吞吐量计量计费。
更多信息,请参见计量计费项。