全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
数据传输服务DTS

数据迁移

更新时间:2017-08-18 09:41:43

数据迁移功能旨在帮助用户方便、快速得实现各种数据源之间的数据迁移。实现数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。数据传输服务提供的数据迁移功能能够支持同异构数据源之间的数据迁移,同时提供了库表列三级映射、数据过滤多种ETL特性。

多种数据源类型

数据迁移支持多种数据源之间的数据迁移,不同数据源的支持情况如下表:

数据源 结构迁移 全量迁移 增量迁移
Oracle->RDS For MySQL 支持 支持 支持
Oracle->RDS For PPAS 支持 支持 支持
Oracle->DRDS 不支持 支持 支持
MySQL ->RDS For MySQL 支持 支持 支持
SQLServer->RDS For SQLServer 支持 支持 支持
PostgreSQL-> RDS For PostgreSQL 支持 支持 支持
MongoDB -> MongoDB 支持 支持 支持
Redis -> Redis 支持 支持 支持
MySQL->DRDS 不支持 支持 支持
MySQL->PetaData 不支持 支持 不支持
MySQL->OceanBase 支持 支持 支持

数据迁移支持的源实例类型包括:
(1) RDS实例
(2) 本地自建数据库
(3) ECS自建数据库
(4) MongoDB实例
(5) Redis实例

数据迁移支持的目标实例包括:
(1) RDS实例
(2) ECS自建数据库
(3) MongoDB实例
(4) Redis实例
(5) DRDS实例
(6) PetaData实例
(7) OceanBase实例

多种迁移方式

数据传输服务提供的数据迁移方式包括:

  1. 在线迁移

    默认使用在线迁移,在线迁移只要用户配置迁移的源、目标实例及迁移对象即可,DTS会自动完成整个数据迁移过程。在线迁移支持数据不停服迁移,然而在线迁移要求DTS服务器能够同时跟源实例、目标实例连通。

  2. 离线文件迁移

    离线文件迁移要求用户先使用DTS客户端将源实例的数据导出成文件后,再将文件导入到目标实例。 离线迁移不支持数据不停服迁移,它主要用于解决DTS服务器跟源数据库网络不通的情况。

如果DTS服务器同源实例网络连通的情况下,建议使用在线迁移,降低数据迁移成本。

多种迁移步骤

数据迁移支持结构迁移全量数据迁移增量数据迁移等多种迁移步骤。其中:
(1) 结构迁移,帮助用户将源实例中的结构对象定义一键迁移至目标实例。
(2) 全量数据迁移,帮助用户将源实例中的历史存量数据迁移至目标实例。
(3) 增量数据迁移,帮助用户将迁移过程中,源实例产生的增量数据实时同步到目标实例。
通过结构迁移+全量数据迁移+增量数据迁移 可以简单实现业务不停服迁移。

多种ETL特性

数据迁移支持多种ETL特性,主要包括:
(1) 支持了库表列三级对象名映射,库表列三级对象名映射是指可以实现对源跟目标实例的库名或表名,甚至列名不同的两个对象之间进行数据迁移。
(2) 支持迁移数据过滤,迁移数据过滤,是指用户可以对要迁移的表设置某种SQL条件过滤要迁移的数据,例如用户可以设置时间条件,只迁移最新的数据。

报警机制

数据迁移提供迁移异常报警,一旦迁移任务出现异常,即会向任务的owner发送报警短信,让用户第一时间了解并处理异常任务。

迁移任务

迁移任务是数据传输服务进行数据迁移的基本单元。如果需要进行数据迁移,必须在数据传输服务控制台创建一个迁移任务。当创建迁移任务时,需要配置迁移的源跟目标实例连接方式,迁移对象及迁移类型等信息。用户可以在数据传输服务控制台进行迁移任务的创建、管理、停止及删除等操作。
迁移任务在创建及运行过程中,不同阶段会处于不同的状态,具体如下表所示:

迁移状态 状态说明 可进行操作
未启动 迁移任务已经完成任务配置,但是还没有进行迁移前的预检查的任务 预检查
删除
预检中 迁移任务正在进行前期的预检查阶段 删除
预检通过 迁移任务已经通过迁移之前的预检查,但是还没有启动迁移 启动
删除
迁移中 迁移任务正在进行正常的数据迁移 暂停
结束
删除
迁移失败 迁移任务异常,可以根据任务的进度确认具体是哪个阶段失败 删除
暂停中 这个迁移任务已经被暂停迁移 启动
删除
完成 迁移任务已经完成数据迁移,或者用户点击结束停止数据迁移 删除
本文导读目录