数据传输服务DTS(Data Transmission Service)支持RDS SQL Server实例间的迁移。
前提条件
- 已创建源和目标RDS SQL Server实例。支持的版本,请参见迁移方案概览。创建方式,请参见创建RDS SQL Server实例。重要
- 若源RDS SQL Server为2008、2008R2时,则不支持增量数据迁移。
- 在混合式日志解析模式下(即SQLServer增量同步模式为非堆表用日志解析增量同步,堆表用CDC增量同步的实例),支持的源库有:
- Enterprise或Enterprise Evaluation版:2012、2014、2016或2019版本。
- Standard版:2016或者2019版本。
- 目标RDS SQL Server实例的存储空间须大于源RDS SQL Server实例已使用的存储空间。
- 若源实例存在如下任一情况,建议使用RDS SQL Server数据库的备份功能进行迁移,详情请参见从自建数据库迁移至RDS。
- 数据库超过10个。
- 单个数据库执行日志备份操作的频率超过1次/小时。
- 单个数据库执行DDL操作的频率超过100条/小时。
- 单个数据库的日志量超过20 MB/s。
- 需要开启CDC(Change Data Capture,变更数据捕获)的表超过1000个。
- 源库日志存在堆表、无主键表、压缩表、含计算列表等场景。可以执行如下SQL检查源库是否存在这些场景的表:
- 检查源库堆表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id IN (SELECT object_id FROM sys.indexes WHERE index_id = 0);
- 检查无主键表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id NOT IN (SELECT parent_object_id FROM sys.objects WHERE type = 'PK');
- 检查源库聚集索引列包含的主键列信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id= t.schema_id WHERE t.type= 'U' AND s.name NOT IN('cdc', 'sys') AND t.name NOT IN('systranschemas') AND t.object_id IN (SELECT pk_columns.object_id AS object_id FROM (select sic.object_id object_id, sic.column_id FROM sys.index_columns sic, sys.indexes sis WHERE sic.object_id= sis.object_id AND sic.index_id= sis.index_id AND sis.is_primary_key= 'true') pk_columns LEFT JOIN (SELECT sic.object_id object_id, sic.column_id FROM sys.index_columns sic, sys.indexes sis WHERE sic.object_id= sis.object_id AND sic.index_id= sis.index_id AND sis.index_id= 1) cluster_colums ON pk_columns.object_id= cluster_colums.object_id WHERE pk_columns.column_id != cluster_colums.column_id);
- 检查源库压缩表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.objects t, sys.schemas s, sys.partitions p WHERE s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id = p.object_id AND p.data_compression != 0;
- 检查包含计算列表信息:
SELECT s.name AS schema_name, t.name AS table_name FROM sys.schemas s INNER JOIN sys.tables t ON s.schema_id = t.schema_id AND t.type = 'U' AND s.name NOT IN ('cdc', 'sys') AND t.name NOT IN ('systranschemas') AND t.object_id IN (SELECT object_id FROM sys.columns WHERE is_computed = 1);
- 检查源库堆表信息:
注意事项
类型 | 说明 |
---|---|
源库限制 |
|
其他限制 |
|
特殊情况 | 当目标实例为RDS SQL Server时 DTS会自动在RDS SQL Server中创建数据库,如果待迁移的数据库名称不符合RDS SQL Server的定义规范,您需要在配置迁移任务之前在RDS SQL Server中创建数据库。相关操作,请参见创建数据库。 |
费用说明
迁移类型 | 链路配置费用 | 公网流量费用 |
---|---|---|
结构迁移和全量数据迁移 | 不收费。 | 通过公网将数据迁移出阿里云时将收费,详情请参见计费概述。 |
增量数据迁移 | 收费,详情请参见计费概述。 |
迁移类型说明
- 库表结构迁移
DTS将源库中迁移对象的结构定义迁移到目标库。
- 全量迁移
DTS将源库中迁移对象的存量数据,全部迁移到目标库中。
- 增量迁移
DTS在全量迁移的基础上,将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停服的情况下,平滑地完成数据迁移。
支持增量迁移的SQL操作
操作类型 | SQL操作语句 |
---|---|
DML | INSERT、UPDATE、DELETE 说明 不支持迁移仅更新大字段的UPDATE语句。 |
DDL |
说明
|
数据库账号的权限要求
数据库 | 结构迁移 | 全量迁移 | 增量迁移 | 数据库账号创建及授权方法 |
---|---|---|---|---|
源实例 | select权限 | select权限 | 待迁移对象的所有者权限。 说明 高权限账号满足要求。 | 请参见创建数据库和账号。 |
目标实例 | 读写权限 | 读写权限 | 读写权限 说明 高权限账号满足要求。 |
操作步骤
- 进入迁移任务的列表页面。
- 登录DMS数据管理服务。
- 在顶部菜单栏中,单击集成与开发(DTS)。
- 在左侧导航栏,选择 。
说明 您也可以登录新版DTS迁移任务的列表页面。 - 在迁移任务右侧,选择迁移实例所属地域。说明 新版DTS迁移任务列表页面,需要在页面左上角选择迁移实例所属地域。
- 单击创建任务,配置源库及目标库信息。
类别 配置 说明 无 任务名称 DTS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
源库信息 选择已有的实例 您可以按实际需求,选择是否使用已有实例。- 如使用已有实例,数据库信息将自动填入,您无需重复输入。
- 如不使用已有实例,您需要输入下方的数据库信息。
数据库类型 选择SQL Server。 接入方式 选择为云实例。 实例地区 选择源RDS SQL Server实例所属地域。 是否跨阿里云账号 本示例为同一阿里云账号间迁移,选择不跨账号。 RDS实例ID 选择源RDS SQL Server实例ID。 数据库账号 填入源RDS SQL Server实例的数据库账号,权限要求,请参见数据库账号的权限要求。 数据库密码 填入该数据库账号对应的密码。
目标库信息 选择已有的实例 您可以按实际需求,选择是否使用已有实例。- 如使用已有实例,数据库信息将自动填入,您无需重复输入。
- 如不使用已有实例,您需要输入下方的数据库信息。
数据库类型 选择SQL Server。 接入方式 选择云实例。 实例地区 选择目标RDS SQL Server实例所属地域。 实例ID 选择目标RDS SQL Server实例ID。 数据库账号 填入目标RDS SQL Server实例的数据库账号,权限要求,请参见数据库账号的权限要求。 数据库密码 填入该数据库账号对应的密码。
- 配置完成后,单击页面下方的测试连接以进行下一步。如果源或目标数据库是阿里云数据库实例(例如RDS MySQL、云数据库MongoDB版等),DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单;如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问;如果源或目标数据库是IDC自建数据库或其他云数据库,则需要您手动添加对应地区DTS服务的IP地址,以允许来自DTS服务器的访问。DTS服务的IP地址,请参见DTS服务器的IP地址段。警告 DTS自动添加或您手动添加DTS服务的公网IP地址段可能会存在安全风险,一旦使用本产品代表您已理解和确认其中可能存在的安全风险,并且需要您做好基本的安全防护,包括但不限于加强账号密码强度防范、限制各网段开放的端口号、内部各API使用鉴权方式通信、定期检查并限制不需要的网段,或者使用通过内网(专线/VPN网关/智能网关)的方式接入。
- 配置任务对象及高级配置。
配置 说明 迁移类型 - 如果只需要进行全量迁移,请同时选中库表结构迁移和全量迁移。
- 如果需要进行不停机迁移,请同时选中库表结构迁移、全量迁移和增量迁移。
说明 如果未选择增量迁移,为保障数据一致性,数据迁移期间请勿在源实例中写入新的数据。目标已存在表的处理模式 预检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在预检查阶段提示错误,数据迁移任务不会被启动。
说明 如果目标库中同名的表不方便删除或重命名,您可以更改该表在目标库中的名称,请参见库表列名映射。- 忽略报错并继续执行:跳过目标数据库中是否有同名表的检查项。 警告 选择为忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:
- 表结构一致的情况下,在目标库遇到与源库主键的值相同的记录,则会保留目标库中的该条记录,即源库中的该条记录不会迁移至目标库中。
- 表结构不一致的情况下,可能导致只能迁移部分列的数据或迁移失败。
SQLServer增量同步模式 - 非堆表用日志解析增量同步,堆表用CDC增量同步:
- 优点:
- 支持源库堆表、无主键表、压缩表、含计算列表等场景。
- 链路稳定性较高。能拿到完整的DDL语句,DDL场景支持丰富。
- 缺点:
- DTS会在源库中创建触发器dts_cdc_sync_ddl、心跳表dts_sync_progress、DDL存储表dts_cdc_ddl_history以及会开启库级别CDC和部分表CDC。
- 不支持在源库对开启CDC的表执行SELECT INTO语句,DTS在源库中创建的触发器不允许手动删除。
- 优点:
- 解析源库日志做增量同步:
- 优点:
对源库无侵入。
- 缺点:
不支持源库堆表、无主键表、压缩表、含计算列表等场景。
- 优点:
源库对象 在源库对象框中单击待迁移的对象,然后单击
将其移动到已选择对象框。
说明 迁移对象选择的粒度为schema、表、列。若选择的迁移对象为表或列,其他对象(如视图、触发器、存储过程)不会被迁移至目标库。已选择对象 - 如需更改单个迁移对象在目标实例中的名称,请右击已选择对象中的迁移对象,设置方式,请参见库表列名单个映射。
- 如需批量更改迁移对象在目标实例中的名称,请单击已选择对象方框右上方的批量编辑,设置方式,请参见库表列名批量映射。
说明- 如果使用了对象名映射功能,可能会导致依赖这个对象的其他对象迁移失败。
- 如需设置WHERE条件过滤数据,请在已选择对象中右击待迁移的表,在弹出的对话框中设置过滤条件。设置方法请参见通过SQL条件过滤任务数据。
- 如需按库或表级别选择迁移的SQL操作,请在已选择对象中右击待迁移对象,并在弹出的对话框中选择所需迁移的SQL操作。支持的操作请参见支持增量迁移的SQL操作。
- 单击下一步高级配置,进行高级配置。
- 数据校验配置
若您需要配置数据校验,请参见配置数据校验。
- 高级配置
配置 说明 设置告警 是否设置告警,当迁移失败或延迟超过阈值后,将通知告警联系人。- 不设置:不设置告警。
- 设置:设置告警,您还需要设置告警阈值和告警联系人。更多信息,请参见在配置任务过程中配置监控报警。
源、目标库无法连接重试时间 在迁移任务启动后,若源库或目标库连接失败则DTS会报错,并会立即进行持续的重试连接,默认持续重试时间为720分钟,您也可以在取值范围(10~1440分钟)内自定义重试时间,建议设置30分钟以上。如果DTS在设置的重试时间内重新连接上源库、目标库,迁移任务将自动恢复。否则,迁移任务将失败。说明- 针对同源或者同目标的多个DTS实例,如DTS实例A和DTS实例B,设置网络重试时间时A设置30分钟,B设置60分钟,则重试时间以低的30分钟为准。
- 由于连接重试期间,DTS将收取任务运行费用,建议您根据业务需要自定义重试时间,或者在源和目标库实例释放后尽快释放DTS实例。
配置ETL功能 选择是否配置ETL功能。关于ETL的更多信息,请参见 什么是ETL 。- 是:配置ETL功能,并在文本框中填写数据处理语句,详情请参见在DTS 迁移或 同步任务中配置ETL。
- 否:不配置ETL功能。
- 数据校验配置
- 上述配置完成后,单击页面下方的下一步保存任务并预检查。说明
- 在迁移任务正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动迁移任务。
- 如果预检查失败,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。
- 如果预检查产生警告:
- 对于不可以忽略的检查项,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。
- 对于可以忽略无需修复的检查项,您可以依次单击点击确认告警详情、确认屏蔽、确定、重新进行预检查,跳过告警检查项重新进行预检查。如果选择屏蔽告警检查项,可能会导致数据不一致等问题,给业务带来风险。
- 预检查通过率显示为100%时,单击下一步购买。
- 在购买页面,选择数据迁移实例的链路规格,详细说明请参见下表。
类别 参数 说明 信息配置 链路规格 DTS为您提供了不同性能的迁移规格,迁移链路规格的不同会影响迁移速率,您可以根据业务场景进行选择,详情请参见数据迁移链路规格说明。
- 配置完成后,阅读并选中《数据传输(按量付费)服务条款》。
- 单击购买并启动,迁移任务正式开始,您可在数据迁移界面查看具体进度。