数据传输服务DTS(Data Transmission Service)支持将SQL Server(包括RDS SQL Server、自建SQL Server)迁移至云原生数据仓库AnalyticDB MySQL版 3.0,帮助您轻松实现数据的传输,用于实时数据分析。
支持的源数据库
SQL Server迁移至云原生数据仓库AnalyticDB MySQL版 3.0支持以下源数据库。本文以RDS SQL Server实例为源数据库介绍配置流程,其他数据源配置流程与本案例类似。- RDS SQL Server实例。
- 以下类型的自建数据库:
- 有公网IP的自建数据库。
- ECS上的自建数据库。
- 通过专线、VPN网关或智能网关接入的自建数据库。
- 通过数据库网关接入的自建数据库。
前提条件
- 该迁移任务仅支持在新版控制台配置。
- 已创建源RDS SQL Server实例,支持的版本,请参见迁移方案概览。创建方式,请参见创建RDS SQL Server实例。
重要 如RDS SQL Server的版本为2008、2008R2,则不支持增量迁移。
- 已创建目标云原生数据仓库AnalyticDB MySQL版 3.0集群,请参见创建集群。
- 目标云原生数据仓库AnalyticDB MySQL版 3.0集群的存储空间须大于源RDS SQL Server实例的存储空间。
- 若源端存在如下情况,建议使用RDS SQL Server数据库的备份功能进行迁移,详情请参见从自建数据库迁移至RDS。
- 数据库超过10个。
- 单个数据库执行日志备份操作的频率超过1次/小时。
- 单个数据库执行DDL操作的频率超过100条/小时。
- 单个数据库的日志量超过20 MB/s。
- 需要开启CDC(Change Data Capture,变更数据捕获)的表超过1000个。
- 源库日志存在堆表、无主键表、压缩表、含计算列表等场景。可以执行如下SQL检查源库是否存在这些场景的表:
- 检查源库堆表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id IN (SELECT object_id FROM sys.indexes WHERE index_id = 0);
- 检查无主键表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id NOT IN (SELECT parent_object_id FROM sys.objects WHERE type = 'PK');
- 检查源库聚集索引列包含的主键列信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id= t.schema_id WHERE t.type= 'U' AND s.name NOT IN('cdc', 'sys') AND t.name NOT IN('systranschemas') AND t.object_id IN (SELECT pk_columns.object_id AS object_id FROM (select sic.object_id object_id, sic.column_id FROM sys.index_columns sic, sys.indexes sis WHERE sic.object_id= sis.object_id AND sic.index_id= sis.index_id AND sis.is_primary_key= 'true') pk_columns LEFT JOIN (SELECT sic.object_id object_id, sic.column_id FROM sys.index_columns sic, sys.indexes sis WHERE sic.object_id= sis.object_id AND sic.index_id= sis.index_id AND sis.index_id= 1) cluster_colums ON pk_columns.object_id= cluster_colums.object_id WHERE pk_columns.column_id != cluster_colums.column_id);
- 检查源库压缩表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.objects t, sys.schemas s, sys.partitions p WHERE s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id = p.object_id AND p.data_compression != 0;
- 检查包含计算列表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id IN (SELECT object_id FROM sys.columns WHERE is_computed = 1);
- 检查源库堆表信息:
注意事项
类型 | 说明 |
---|---|
源库限制 |
|
其他限制 |
|
费用说明
迁移类型 | 链路配置费用 | 公网流量费用 |
---|---|---|
结构迁移和全量数据迁移 | 不收费。 | 通过公网将数据迁移出阿里云时将收费,详情请参见计费概述。 |
增量数据迁移 | 收费,详情请参见计费概述。 |
迁移类型说明
- 库表结构迁移
DTS将源库中迁移对象的结构定义迁移到目标库。
- 支持迁移的结构对象有Schema、Table、View、Function和Procedure。
- 不支持迁移的结构对象有:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。
警告 由于此场景属于异构数据库间的数据迁移,数据类型无法一一对应,请谨慎评估数据类型的映射关系对业务的影响,详情请参见异构数据库间的数据类型映射关系。 - 全量迁移
DTS将源库中迁移对象的存量数据,全部迁移到目标库中。
- 增量迁移
DTS在全量迁移的基础上,将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停机的情况下,平滑地完成数据迁移。
支持增量迁移的SQL操作
操作类型 | SQL操作语句 |
---|---|
DML | INSERT、UPDATE、DELETE
说明 不支持增量迁移仅更新大字段的UPDATE语句。
|
DDL |
说明
|
数据库账号的权限要求
数据库 | 结构迁移 | 全量迁移 | 增量迁移 |
---|---|---|---|
RDS SQL Server实例 | 待迁移对象的读权限 | 待迁移对象的读权限 | 待迁移对象的所有者权限
说明 高权限账号满足要求。
|
云原生数据仓库AnalyticDB MySQL版 3.0集群 | 读写权限 |
数据库账号创建及授权方法: