数据传输服务DTS(Data Transmission Service)支持将自建SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL版,帮助您轻松实现数据的传输,用于实时数据分析。
前提条件
- 自建SQL Server数据库支持的版本,请参见同步方案概览。
- 已创建目标云原生数据仓库AnalyticDB PostgreSQL版实例,如未创建请参见创建实例。
- 目标云原生数据仓库AnalyticDB PostgreSQL版实例的存储空间须大于自建SQL Server数据库占用的存储空间。
- 若源端存在如下情况,建议使用RDS SQL Server数据库的备份功能进行同步,详情请参见从自建数据库迁移至RDS。
- 源库实例数超过10个。
- 源库实例执行日志备份操作的频率超过1次/小时。
- 源库实例执行DDL操作的频率超过100条/小时。
- SQL Server单库日志量超过20 MB/s。
- 需要开启CDC(Change Data Capture,变更数据捕获)的表超过1000个。
- 源库日志存在源端堆表、无主键表、压缩表、含计算列表等场景。可以执行如下SQL检查源库是否存在这些场景的表:
- 检查源库堆表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id IN (SELECT object_id FROM sys.indexes WHERE index_id = 0);
- 检查无主键表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id NOT IN (SELECT parent_object_id FROM sys.objects WHERE type = 'PK');
- 检查源库聚集索引列不包含主键列信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id= t.schema_id WHERE t.type= 'U' AND s.name NOT IN('cdc', 'sys') AND t.name NOT IN('systranschemas') AND t.object_id IN (SELECT pk_columns.object_id AS object_id FROM (select sic.object_id object_id, sic.column_id FROM sys.index_columns sic, sys.indexes sis WHERE sic.object_id= sis.object_id AND sic.index_id= sis.index_id AND sis.is_primary_key= 'true') pk_columns LEFT JOIN (SELECT sic.object_id object_id, sic.column_id FROM sys.index_columns sic, sys.indexes sis WHERE sic.object_id= sis.object_id AND sic.index_id= sis.index_id AND sis.index_id= 1) cluster_colums ON pk_columns.object_id= cluster_colums.object_id WHERE pk_columns.column_id != cluster_colums.column_id);
- 检查源库压缩表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.objects t, sys.schemas s, sys.partitions p WHERE s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id = p.object_id AND p.data_compression != 0;
- 检查包含计算列表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id IN (SELECT object_id FROM sys.columns WHERE is_computed = 1);
- 检查源库堆表信息:
注意事项
说明 DTS默认同步到目标数据库中时会取消外键约束,因此源数据库的级联、删除等操作不会同步到目标数据库。
类型 | 说明 |
---|---|
源库限制 |
|
其他限制 |
|
支持的同步架构
- 一对一单向同步
- 一对多单向同步
- 多对一单向同步
支持同步的SQL操作
操作类型 | SQL操作语句 |
---|---|
DML | INSERT、UPDATE、DELETE |
DDL |
|
数据库账号的权限要求
数据库 | 所需权限 | 账号创建及授权方法 |
---|---|---|
自建SQL Server | sysadmin | CREATE USER和用户权限管理 |
云原生数据仓库AnalyticDB PostgreSQL版实例 |
说明 您也可以使用AnalyticDB PostgreSQL的初始账号。
|
创建数据库账号和用户权限管理 |
准备工作
在正式配置数据同步任务之前,需要在自建SQL Server数据库上进行日志配置并创建聚集索引。警告 如果有多个数据库需要同步,您需要重复执行准备工作中的步骤1到步骤4。
- 在自建SQL Server数据库中执行如下命令,将待同步的数据库恢复模式修改为完整模式。也可通过SSMS客户端修改,具体请参见修改数据库的recovery mode。
参数说明:use master; GO ALTER DATABASE <database_name> SET RECOVERY FULL WITH ROLLBACK IMMEDIATE; GO
<database_name>:待同步的数据库名。
示例:use master; GO ALTER DATABASE mytestdata SET RECOVERY FULL WITH ROLLBACK IMMEDIATE; GO
- 执行如下命令,将待同步的数据库进行逻辑备份。如您已进行过逻辑备份,可跳过本步骤。
参数说明:BACKUP DATABASE <database_name> TO DISK='<physical_backup_device_name>'; GO
- <database_name>:待同步的数据库名。
- <physical_backup_device_name>:指定备份文件存储的路径和文件名。
BACKUP DATABASE mytestdata TO DISK='D:\backup\dbdata.bak'; GO
- 执行如下命令,对待同步的数据库进行日志备份。
参数说明:BACKUP LOG <database_name> to DISK='<physical_backup_device_name>' WITH init; GO
- <database_name>:待同步的数据库名。
- <physical_backup_device_name>:指定备份文件存储的路径和文件名。
BACKUP LOG mytestdata TO DISK='D:\backup\dblog.bak' WITH init; GO