SQL Server实例级别迁移上云

前提条件

• 源端需为自建SQL Server数据库。

• 目标端RDS SQL Server实例需满足如下条件：

  • 实例剩余空间需大于待上云的数据文件。若空间不足，请提前升级实例空间。

  • 2008 R2版本：需确保实例中已创建与待迁移数据库名称相同的数据库（其他版本无需执行本操作）。

• 如果通过RAM用户登录，需满足以下条件：

  • RAM账号具备AliyunOSSFullAccess权限和AliyunRDSFullAccess权限。如何为RAM用户授权，请参见通过RAM对OSS进行权限管理和通过RAM对RDS进行权限管理。

  • 阿里云账号（主账号）已授权RDS官方服务账号可以访问您OSS的权限。

    点击展开查看授权方法

    1. 前往RDS实例详情页备份恢复页面，单击OSS备份数据恢复上云按钮。

    2. 在数据导入向导页面单击两次下一步，进入3. 数据导入步骤。

       若该页面左下角显示您已授权RDS官方服务账号可以访问您OSS的权限，则表示已授权。否则表示还未授权，单击该页面的授权地址同意授权即可。

       

  • 所在阿里云账号（主账号）需手动创建权限策略，然后将权限添加到RAM账号中。

    点击展开查看策略内容

    {
        "Version": "1",
        "Statement": [
            {
                "Action": [
                    "ram:GetRole"
                ],
                "Resource": "acs:ram:*:*:role/AliyunRDSImportRole",
                "Effect": "Allow"
            }
        ]
    }

限制条件

本方案仅支持全量迁移上云，暂不支持增量迁移上云。

费用说明

本方案中仅会产生OSS的相关费用，详情如下图所示。

准备工作

python --version
python3 --version
py --version

python --version
python3 --version

pip install alibabacloud_rds20140815
pip install alibabacloud-oss-v2

1. 备份自建SQL Server所有数据库

1. 下载备份脚本。

2. 双击备份脚本，使用Microsoft SQL Server Management Studio（SSMS）客户端打开。SSMS的连接方法，请参见官方文档。

3. 根据业务需求，修改如下参数。

   点击展开查看示例

   SELECT
       /**
       * Databases list needed to backup, delimiter is : or ,
       * empty('') or null: means all databases excluding system database
       * example: '[testdb]: TestDR, Test, readonly'
       **/
       @backup_databases_list = N'[dtstestdata],[testdb]'
       @backup_type = N'FULL',                    -- Backup Type? FULL: FULL backup; DIFF: Differential backup; LOG: Log backup
       @backup_folder = N'C:\BACKUP'              -- Backup folder to store backup files.
       @is_run = 1                                -- Check or run? 1, run directly; 0, just check

   配置项	说明
   @backup_databases_list	需要备份的数据库，多个数据库以分号（;）或者半角逗号（,）分隔。
   @backup_type	备份类型，取值如下： FULL：全量备份。 DIFF：差异备份。 LOG：日志备份。 重要 本方案中，取值需为FULL。
   @backup_folder	备份文件所在的本地目录。如不存在，会自动创建。
   @is_run	是否执行备份，取值： 1：执行备份。 0：仅执行检查，不执行备份。

4. 运行备份脚本，数据库将备份至指定的目录中。

   

2. 上传备份文件到OSS

1. 将备份文件上传至OSS前，您需先在OSS中创建存储空间Bucket。

   • 若OSS中已存在Bucket，请确保该Bucket满足以下要求：

     • Bucket存储类型存储类型为标准存储。不能是低频访问存储、归档存储、冷归档存储、深度冷归档存储。

     • Bucket未开启服务器端加密。

   • 若OSS中没有Bucket，需要先行创建。（请确保已开通OSS服务）

     1. 登录OSS管理控制台，单击Bucket列表，然后单击创建Bucket。

     2. 配置如下关键参数，其他参数可以保持默认。

        重要

        • 创建的存储空间主要用于本次数据上云，只需配置关键参数即可，上云完成后可以及时删除以避免数据泄露及产生相关费用。

        • 创建Bucket时请勿开启服务器端加密。

        参数	说明	取值示例
        Bucket 名称	存储空间名称，全局唯一，设置后无法修改。 命名规则： 只能包括小写字母、数字和短划线（-）。 必须以小写字母或者数字开头和结尾。 长度必须在3~63字符之间。	migratetest
        地域	Bucket所属的地域，如果您通过ECS内网上传数据至Bucket中，且通过内网将数据恢复至RDS中，则需要三者地域保持一致。	华东1（杭州）
        存储类型	选择标准存储。本文上云操作不支持其他存储类型的Bucket。	标准存储

2. 上传备份文件到OSS。

   本地数据库备份完成后，请将备份文件上传到与您的RDS实例同地域的OSS Bucket中，两者处于同一地域时可通过内网互通（不会产生外网流量费用），且数据上传速度更快。您可以采用如下方法之一：

   使用ossbrowser工具上传（推荐）

   1. 下载ossbrowser。

   2. 以Windows x64操作系统为例，解压下载的oss-browser-win32-x64.zip压缩包，双击运行oss-browser.exe应用程序。

   3. 使用AK登录方式，配置参数AccessKeyId和AccessKeySecret，其他参数保持默认，然后单击登入。

      说明

      AccessKey用于身份验证，确保数据安全，请妥善保管。

      

   4. 单击目标Bucket，进入存储空间。

   5. 单击，选择需要上传的备份文件，然后单击打开，即可将本地文件上传至OSS中。

   使用OSS控制台上传

   说明

   如果备份文件小于5 GB，建议您直接通过OSS控制台上传备份文件。

   1. 登录OSS管理控制台。

   2. 单击Bucket列表，然后单击目标Bucket名称。

   3. 在文件列表中，单击上传文件。

   4. 您可以将备份文件拖拽至待上传文件区域，也可以单击扫描文件，选择需要上传的备份文件。

   5. 单击页面下方的上传文件，即可将本地备份文件上传至OSS中。

   使用OSS API分片上传（以Python 3项目为例）

   说明

   如果备份文件大于5 GB，建议您调用OSS API采用分片上传的方式将备份文件上传到OSS Bucket中。

   # -*- coding: utf-8 -*-
   """
   Alibaba Cloud OSS Python SDK v2
   依赖：pip install alibabacloud-oss-v2
   """
   
   import os
   import sys
   from pathlib import Path
   import alibabacloud_oss_v2 as oss
   from alibabacloud_oss_v2 import exceptions as oss_ex
   
   
   def get_client_from_env(region: str, endpoint: str | None = None) -> oss.Client:
       """
       从环境变量创建 v2 客户端。
       - 优先使用 Region（推荐），也支持自定义 Endpoint（可选）。
       - 同时兼容 AK 与 STS：
           * AK: 需要 OSS_ACCESS_KEY_ID / OSS_ACCESS_KEY_SECRET
           * STS: 另需 OSS_SESSION_TOKEN（兼容旧变量 OSS_SECURITY_TOKEN）
       """
       # 兼容：如果用户使用了老变量 OSS_SECURITY_TOKEN，则映射到 v2 期望的 OSS_SESSION_TOKEN
       sec_token_legacy = os.getenv("OSS_SECURITY_TOKEN")
       if sec_token_legacy and not os.getenv("OSS_SESSION_TOKEN"):
           os.environ["OSS_SESSION_TOKEN"] = sec_token_legacy
   
       ak = os.getenv("OSS_ACCESS_KEY_ID")
       sk = os.getenv("OSS_ACCESS_KEY_SECRET")
       st = os.getenv("OSS_SESSION_TOKEN")  # STS Token（可选）
   
       if not (ak and sk):
           raise ValueError("未找到有效的 AK，请设置环境变量 OSS_ACCESS_KEY_ID 和 OSS_ACCESS_KEY_SECRET。"
                            "如使用 STS，请同时设置 OSS_SESSION_TOKEN（或旧名 OSS_SECURITY_TOKEN）。")
   
       # 提示所用凭据类型
       if st:
           print("检测到 STS Token（OSS_SESSION_TOKEN），使用 STS 凭证。")
       else:
           print("未检测到 STS Token，使用 AccessKey (AK) 凭证。")
   
       credentials_provider = oss.credentials.EnvironmentVariableCredentialsProvider()
       cfg = oss.config.load_default()
       cfg.credentials_provider = credentials_provider
   
       # 基本网络配置
       cfg.region = region  # 例如：'cn-hangzhou'
       if endpoint:
           # 可选：自定义 Endpoint（如内网、加速、专有域）
           cfg.endpoint = endpoint
   
       # 也可以在此添加其它配置，如：cfg.use_accelerate_endpoint = True
       return oss.Client(cfg)
   
   
   def resumable_upload_file_v2(
       client: oss.Client,
       bucket_name: str,
       object_key: str,
       file_path: str,
       part_size: int = 1 * 1024 * 1024,
       parallel_num: int = 4,
       checkpoint_dir: str | None = None,
   ):
       """
       实现分片并发 + 断点续传上传。
   
       :param client: 已初始化的 oss.Client
       :param bucket_name: 目标 Bucket 名称
       :param object_key: 目标 Object Key（不包含 Bucket 名）
       :param file_path: 本地文件完整路径
       :param part_size: 分片大小（单位：字节），默认 1MB
       :param parallel_num: 并发上传线程数，默认 4
       :param checkpoint_dir: 断点信息存储目录；若为 None，则不启用断点续传
       """
       file_path = str(file_path)
       if not Path(file_path).exists():
           raise FileNotFoundError(f"错误: 本地文件未找到，请检查 file_path 配置: {file_path}")
   
       # 构造 Uploader；根据是否传入checkpoint_dir来启用断点续传
       if checkpoint_dir:
           uploader = client.uploader(
               enable_checkpoint=True,
               checkpoint_dir=checkpoint_dir,
               part_size=part_size,
               parallel_num=parallel_num,
           )
       else:
           uploader = client.uploader(
               part_size=part_size,
               parallel_num=parallel_num,
           )
   
       print(f"开始上传文件: {file_path}")
       print(f"目标 Bucket: {bucket_name}")
       print(f"目标 Object: {object_key}")
       print(f"分片大小: {part_size} 字节, 并发数: {parallel_num}")
       if checkpoint_dir:
           print(f"断点续传: 已启用（checkpoint_dir={checkpoint_dir}）")
       else:
           print("断点续传: 未启用（如需启用请设置 checkpoint_dir）")
   
       # 执行上传（Uploader 会自动根据大小选择多/单分片并发上传）
       result = uploader.upload_file(
           oss.PutObjectRequest(bucket=bucket_name, key=object_key),
           filepath=file_path,
       )
   
       print("-" * 30)
       print("文件上传成功!")
       print(f"HTTP Status: {result.status_code}")
       print(f"ETag: {result.etag}")
       print(f"请求 ID: {result.request_id}")
       # CRC64 校验值；v2 默认启用数据校验
       print(f"CRC64: {result.hash_crc64}")
       print("-" * 30)
   
   
   def main():
       # 运行代码示例之前，请确保已设置相应的环境变量。
       # macOS/Linux:
       #   AK方式:
       #     export OSS_ACCESS_KEY_ID=YOUR_AK_ID
       #     export OSS_ACCESS_KEY_SECRET=YOUR_AK_SECRET
       #   STS方式:
       #     export OSS_ACCESS_KEY_ID=YOUR_STS_ID
       #     export OSS_ACCESS_KEY_SECRET=YOUR_STS_SECRET
       #     export OSS_SECURITY_TOKEN=YOUR_STS_TOKEN
       #
       # Windows:
       #   Powershell: $env:OSS_ACCESS_KEY_ID="YOUR_AK_ID"
       #   cmd: set OSS_ACCESS_KEY_ID=YOUR_AK_ID
   
       # ===================== 参数区（按需修改） =====================
       # Region 示例：'cn-hangzhou'；建议优先使用 Region
       region = "cn-hangzhou"
   
       # 可选：自定义 Endpoint（如需内网、专有域、加速域名等）
       # 例如：'https://oss-cn-hangzhou.aliyuncs.com'
       endpoint = 'https://oss-cn-hangzhou.aliyuncs.com'  
   
       # Bucket 与 Object
       bucket_name = "examplebucket"
       object_key = "test.bak"
   
       # 待上传的本地文件完整路径。
       # Windows示例: r'D:\localpath\examplefile.txt'  (注意前面的 r)
       # macOS/Linux示例: '/Users/test/examplefile.txt'
       file_path = r"D:\oss\test.bak"
   
       # 分片与并发
       part_size = 1 * 1024 * 1024  # 默认 1MB；OSS 要求单片最小 100KB
       parallel_num = 4
   
       # 断点续传目录（传 None 则不启用；建议指定到一个可写目录）
       checkpoint_dir = str(Path.cwd() / ".oss_checkpoints")
       # =================== 参数区结束 ===================
   
       print("脚本开始执行...")
       try:
           client = get_client_from_env(region=region, endpoint=endpoint)
           # 若启用断点续传，确保目录存在
           if checkpoint_dir:
               Path(checkpoint_dir).mkdir(parents=True, exist_ok=True)
   
           resumable_upload_file_v2(
               client=client,
               bucket_name=bucket_name,
               object_key=object_key,
               file_path=file_path,
               part_size=part_size,
               parallel_num=parallel_num,
               checkpoint_dir=checkpoint_dir,
           )
       except FileNotFoundError as e:
           print(e)
       except oss_ex.ServiceError as e:
           # OSS 服务端返回的错误
           print("\n发生 OSS 服务端错误。")
           print(f"HTTP Status: {getattr(e, 'status_code', 'N/A')}")
           print(f"Error Code: {getattr(e, 'code', 'N/A')}")
           print(f"Message: {getattr(e, 'message', 'N/A')}")
           print(f"Request ID: {getattr(e, 'request_id', 'N/A')}")
           print(f"Endpoint: {getattr(e, 'request_target', 'N/A')}")
       except oss_ex.BaseError as e:
           # SDK 本地/序列化/反序列化/凭据等错误
           print("\n发生 OSS SDK 客户端错误。")
           print(str(e))
       except Exception as e:
           print(f"\n发生未知错误: {e}")
   
   
   if __name__ == "__main__":
       main()

3. 执行上云脚本将数据库迁移至RDS

1. 下载SQL Server迁移上云脚本。

2. 解压后执行如下命令，了解该脚本需要传入的参数信息。

   python ~/Downloads/RDSSQLCreateMigrateTasksBatchly.py -h

   结果如下：

   RDSSQLCreateMigrateTasksBatchly.py -k <access_key_id> -s <access_key_secret> -i <rds_instance_id> -e <oss_endpoint> -b <oss_bucket> -d <directory>

   参数说明如下：

   参数	说明
   access_key_id	目标RDS实例所属的阿里云账号的AccessKey ID。
   access_key_secret	目标RDS实例所属的阿里云账号的AccessKey Secret。
   rds_instance_id	目标RDS实例ID。
   oss_endpoint	备份文件所属的存储空间的Endpoint地址。
   oss_bucket	备份文件所属的存储空间名称。
   directory	备份文件在OSS存储空间中的目录。如果是根目录，请传入/。

3. 执行迁移上云脚本，完成迁移任务。

   本示例以将OSS存储空间（名称为testdatabucket）的Migrationdata目录中所有满足条件的备份文件，全量迁移到RDS SQL Server实例（实例ID为rm-2zesz5774ud8s****）为例。

   python ~/Downloads/RDSSQLCreateMigrateTasksBatchly.py -k yourAccessKeyID -s yourAccessKeySecret -i rm-2zesz5774ud8s**** -e oss-cn-beijing.aliyuncs.com -b testdatabucket -d Migrationdata

4. 查看迁移任务进度

请根据RDS SQL Server实例版本，选择对应方案。

视频演示

常见错误

相关API