数据传输服务DTS(Data Transmission Service)支持将自建SQL Server迁移至云原生数据仓库AnalyticDB PostgreSQL版,帮助您轻松实现数据的传输,用于实时数据分析。
前提条件
- 该迁移任务仅支持在新版控制台配置。
- 自建SQL Server数据库支持的版本,请参见迁移方案概览。
- 已创建目标云原生数据仓库AnalyticDB PostgreSQL版实例,如未创建请参见创建实例。
- 目标云原生数据仓库AnalyticDB PostgreSQL版实例的存储空间须大于自建SQL Server数据库占用的存储空间。
- 若源端存在如下情况,建议使用RDS SQL Server数据库的备份功能进行迁移,详情请参见从自建数据库迁移至RDS。
- 源库实例数超过10个。
- 源库实例执行日志备份操作的频率超过1次/小时。
- 源库实例执行DDL操作的频率超过100条/小时。
- SQL Server单库日志量超过20MB/s。
- 需要开启CDC(Change Data Capture,变更数据捕获)的表超过1000个。
- 源库日志存在源端堆表、无主键表、压缩表、含计算列表等场景。可以执行如下SQL检查源库是否存在这些场景的表:
- 检查源库堆表信息:
select s.name as schema_name, t.name as table_name from sys.schemas s inner join sys.tables t on s.schema_id = t.schema_id where t.type = 'U' and t.object_id in (select object_id from sys.indexes where index_id = 0);
- 检查无主键表信息:
select s.name as schema_name, t.name as table_name from sys.schemas s inner join sys.tables t on s.schema_id = t.schema_id where t.type = 'U' and t.object_id not in (select parent_object_id from sys.objects where type = 'PK');
- 检查源库聚集索引列不包含主键列信息:
select object_name(pk_columns.object_id) as table_name from (select sic.object_id object_id, sic.column_id from sys.index_columns sic, sys.indexes sis where sic.object_id = sis.object_id and sic.index_id = sis.index_id and sis.is_primary_key = 'true') pk_columns left join (select sic.object_id object_id, sic.column_id from sys.index_columns sic, sys.indexes sis where sic.object_id = sis.object_id and sic.index_id = sis.index_id and sis.index_id = 1) cluster_colums on pk_columns.object_id = cluster_colums.object_id and cluster_colums.object_id is null;
- 检查源库压缩表信息:
select s.name as schema_name, t.name as table_name from sys.objects t, sys.schemas s, sys.partitions i where s.schema_id=t.schema_id and t.type = 'U' and t.object_id = i.object_id and i.data_compression != 0;
- 检查包含计算列表信息:
select s.name as schema_name, t.name as table_name from sys.schemas s inner join sys.tables t on s.schema_id = t.schema_id where t.type = 'U' and t.object_id in (select object_id from sys.columns where is_computed = 1);
- 检查源库堆表信息:
注意事项
类型 | 说明 |
---|---|
源库限制 |
|
其他限制 |
|
费用说明
迁移类型 | 链路配置费用 | 公网流量费用 |
---|---|---|
结构迁移和全量数据迁移 | 不收费。 | 通过公网将数据迁移出阿里云时将收费,详情请参见产品定价。 |
增量数据迁移 | 收费,详情请参见产品定价。 |
迁移类型说明
- 库表结构迁移
DTS将源库中迁移对象的结构定义迁移到目标库。
- 支持迁移的结构对象有Schema、Table、View、Function和Procedure。
- 不支持迁移的结构对象有:assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。
警告 由于此场景属于异构数据库间的数据迁移,数据类型无法一一对应,请谨慎评估数据类型的映射关系对业务的影响,详情请参见异构数据库间的数据类型映射关系。 - 全量迁移
DTS将源库中迁移对象的存量数据,全部迁移到目标库中。
- 增量迁移
DTS在全量迁移的基础上,将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停服的情况下,平滑地完成数据迁移。
支持增量迁移的SQL操作
操作类型 | SQL操作语句 |
---|---|
DML | INSERT、UPDATE、DELETE |
DDL |
|
数据库账号的权限要求
数据库 | 结构迁移 | 全量迁移 | 增量迁移 |
---|---|---|---|
自建SQL Server数据库 | SELECT权限 | SELECT权限 | sysadmin |
云原生数据仓库AnalyticDB PostgreSQL版实例 |
说明 您也可以使用AnalyticDB PostgreSQL的初始账号。
|
- 自建SQL Server数据库请参见CREATE USER和用户权限管理。
- 云原生数据仓库AnalyticDB PostgreSQL版实例请参见创建数据库账号和用户权限管理。
准备工作
说明 如需进行增量迁移,在正式配置数据迁移任务之前,需要在自建SQL Server数据库上进行日志配置并创建聚集索引。
警告 如果有多个数据库需要迁移,您需要重复执行准备工作中的步骤1到步骤4。
- 在自建SQL Server数据库中执行如下命令,将待迁移的数据库恢复模式修改为完整模式。
参数说明:use master; GO ALTER DATABASE <database_name> SET RECOVERY FULL WITH ROLLBACK IMMEDIATE; GO
<database_name>:待迁移的数据库名。
示例:use master; GO ALTER DATABASE mytestdata SET RECOVERY FULL WITH ROLLBACK IMMEDIATE; GO
- 执行如下命令,将待迁移的数据库进行逻辑备份。如您已进行过逻辑备份,可跳过本步骤。
参数说明:BACKUP DATABASE <database_name> TO DISK='<physical_backup_device_name>'; GO
- <database_name>:待迁移的数据库名。
- <physical_backup_device_name>:指定备份文件存储的路径和文件名。
BACKUP DATABASE mytestdata TO DISK='D:\backup\dbdata.bak'; GO
- 执行如下命令,将待迁移的数据库日志进行备份。
参数说明:BACKUP LOG <database_name> to DISK='<physical_backup_device_name>' WITH init; GO
- <database_name>:待迁移的数据库名。
- <physical_backup_device_name>:指定备份文件存储的路径和文件名。
BACKUP LOG mytestdata TO DISK='D:\backup\dblog.bak' WITH init; GO