全量备份数据上云(SQL Server 2008 R2本地盘)

RDS SQL Server提供了将本地SQL Server数据库迁移到阿里云RDS SQL Server的数据库上云方案。您只需将本地SQL Server数据库的全量备份数据上传至阿里云的对象存储服务(OSS),然后通过RDS控制台将全量备份数据迁移至指定RDS SQL Server数据库中。该方案采用微软官方的备份恢复方案,可保障兼容性。适用于数据备份、迁移和灾备恢复等场景。

说明

前提条件

  • RDS SQL Server实例版本为2008 R2本地盘。

    说明

    RDS SQL Server 2008 R2云盘实例已停止新售。

  • 在RDS SQL Server实例中创建与待迁移的数据库名称相同的数据库。具体操作,请参见创建数据库和账号

  • 如果通过RAM用户登录,则必须满足以下条件:

    • RAM账号具备AliyunOSSFullAccess权限和AliyunRDSFullAccess权限。如何为RAM用户授权,请参见通过RAM对OSS进行权限管理通过RAM对RDS进行权限管理

    • 阿里云账号(主账号)已授权RDS官方服务账号可以访问您OSS的权限。

      点击展开查看授权方法

      1. 前往RDS实例详情页备份恢复页面,单击OSS备份数据恢复上云按钮。

      2. 数据导入向导页面单击两次下一步,进入3. 数据导入步骤。

        若该页面左下角显示您已授权RDS官方服务账号可以访问您OSS的权限,则表示已授权。否则表示还未授权,单击该页面的授权地址同意授权即可。

        image

    • 所在阿里云账号(主账号)需手动创建权限策略,然后将权限添加到RAM账号中。如何创建权限策略,请参见通过脚本编辑模式创建自定义权限策略

      点击展开查看策略内容

      {
          "Version": "1",
          "Statement": [
              {
                  "Action": [
                      "ram:GetRole"
                  ],
                  "Resource": "acs:ram:*:*:role/AliyunRDSImportRole",
                  "Effect": "Allow"
              }
          ]
      }

注意事项

本方案迁移的级别为数据库,即每次只能迁移一个数据库上云。如果需要迁移多个或所有数据库,建议采用实例级的迁移上云方案。具体详情,请参见SQL Server实例级别迁移上云

费用说明

本方案中仅会产生OSS的相关费用,详情如下图所示。

image

场景

费用说明

将本地数据备份文件上传至OSS

不产生费用。

备份文件存储在OSS

会产生OSS的存储费用,计费详情请参见OSS定价

将备份文件从OSS迁移至RDS

  • 通过内网迁移至RDS,不产生费用。

  • 通过外网迁移至RDS,OSS会产生外网流出流量的费用,计费详情请参见OSS定价

1. 备份本地数据库

  1. 打开Microsoft SQL Server Management Studio(SSMS)客户端。

  2. 登录待迁移的数据库。

  3. 执行如下命令,确认源数据库当前的恢复模式。

    USE master;
    GO
    SELECT name, CASE recovery_model
    WHEN 1 THEN 'FULL'
    WHEN 2 THEN 'BULK_LOGGED'
    WHEN 3 THEN 'SIMPLE' END model FROM sys.databases
    WHERE name NOT IN ('master','tempdb','model','msdb');
    GO
    • 如果返回结果中的model值不为FULL,请执行步骤4。

    • 如果返回结果中的model值为FULL,请执行步骤5。

  4. 执行如下命令,将源数据库的恢复模式设置为FULL

    ALTER DATABASE [dbname] SET RECOVERY FULL;
    go
    ALTER DATABASE [dbname] SET AUTO_CLOSE OFF;
    go
    重要

    恢复模式设置为FULL后,会使SQL Server的日志信息增多,请确保具备足够的硬盘空间。

  5. 执行如下命令,备份源数据库。本案例中,将dbtest数据库备份至backup.bak文件中。

    USE master;
    GO
    BACKUP DATABASE [dbtest] to disk ='d:\backup\backup.bak' WITH COMPRESSION,INIT;
    GO
  6. 执行如下命令,校验备份文件的完整性。

    USE master
     GO
     RESTORE FILELISTONLY 
       FROM DISK = N'D:\backup\backup.bak';
    重要
    • 如果有结果集返回,代表备份文件有效。

    • 如果提示错误,请重新执行备份操作。

  7. 可选:执行如下命令,还原数据库的恢复模式。

    重要

    如果数据库的恢复模式原本就是FULL,无需执行本步骤。

    ALTER DATABASE [dbname] SET RECOVERY SIMPLE;
    GO

2. 上传备份文件到OSS

重要

如果OSS中已经创建了Bucket,请检查Bucket是否满足如下要求:

  • 请确保存储备份文件的OSS Bucket存储类型为标准存储。不能是低频访问存储、归档存储、冷归档存储、深度冷归档存储。更多详情,请参见存储类型概述

  • 请确保Bucket未开启数据加密。更多详情,请参见数据加密

  1. 创建存储空间Bucket。

    1. 登录OSS管理控制台

    2. 单击Bucket列表,然后单击创建Bucket

    3. 配置如下关键参数,其他参数可以保持默认。

      重要
      • 创建的存储空间仅用于本次数据上云,且上云后不再使用,因此只需配置关键参数即可,为避免数据泄露及产生相关费用,上云完成后请及时删除。

      • 创建Bucket时请勿开启数据加密。更多详情,请参见数据加密

      参数

      说明

      取值示例

      Bucket 名称

      存储空间名称,全局唯一,设置后无法修改。

      命名规则:

      • 只能包括小写字母、数字和短划线(-)。

      • 必须以小写字母或者数字开头和结尾。

      • 长度必须在3~63字符之间。

      migratetest

      地域

      Bucket所属的地域,如果您通过ECS内网上传数据至Bucket中,且通过内网将数据恢复至RDS中,则需要三者地域保持一致。

      华东1(杭州)

      存储类型

      选择标准存储。本文上云操作不支持其他存储类型的Bucket。

      标准存储

  2. 上传备份文件到OSS。

    说明

    当RDS实例和OSS的Bucket在同一地域时,二者可以通过内网互通,且数据上传速度更快,并且不会产生外网流量费用。因此,在上传备份文件时,建议将文件上传至与目标RDS实例在同一地域的Bucket上。

    本地数据库备份完成后,需要将备份文件上传到您的OSS Bucket中,您可以采用如下方法之一:

    使用ossbrowser工具上传(推荐)

    1. 下载ossbrowser

    2. 以Windows x64操作系统为例,解压下载的oss-browser-win32-x64.zip压缩包,双击运行oss-browser.exe应用程序。

    3. 使用AK登录方式,配置参数AccessKeyIdAccessKeySecret,其他参数保持默认,然后单击登入登录ossbrowser

      说明

      AccessKey用于身份验证,确保数据安全,请妥善保管,如何创建及获取,请参见创建AccessKey

    4. 单击目标Bucket,进入存储空间。进入bucket中

    5. 单击上传图标,选择需要上传的备份文件,然后单击打开,即可将本地文件上传至OSS中。

    使用OSS控制台上传

    说明

    如果备份文件小于5 GB,建议您直接通过OSS控制台上传备份文件。

    1. 登录OSS管理控制台

    2. 单击Bucket列表,然后单击目标Bucket名称。网页进入bucket

    3. 文件列表中,单击上传文件网页上传文件

    4. 您可以将备份文件拖拽至待上传文件区域,也可以单击扫描文件,选择需要上传的备份文件。网页扫描文件

    5. 单击页面下方的上传文件,即可将本地备份文件上传至OSS中。

    使用OSS API分片上传

    说明

    如果备份文件大于5 GB,建议您调用OSS API采用分片上传的方式将备份文件上传到OSS Bucket中。

    本示例以Java项目为例,从环境变量中获取访问凭证代码。运行本代码示例之前,请先配置环境变量。如何配置访问凭证,请参见配置访问凭证。更多示例,请参见分片上传

    import com.aliyun.oss.ClientException;
    import com.aliyun.oss.OSS;
    import com.aliyun.oss.common.auth.*;
    import com.aliyun.oss.OSSClientBuilder;
    import com.aliyun.oss.OSSException;
    import com.aliyun.oss.internal.Mimetypes;
    import com.aliyun.oss.model.*;
    import java.io.File;
    import java.io.FileInputStream;
    import java.io.InputStream;
    import java.util.ArrayList;
    import java.util.List;
    
    public class Demo {
    
        public static void main(String[] args) throws Exception {
            // Endpoint以华东1(杭州)为例,其它Region请按实际情况填写。
            String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
            // 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
            EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
            // 填写Bucket名称,例如examplebucket。
            String bucketName = "examplebucket";
            // 填写Object完整路径,例如exampledir/exampleobject.txt。Object完整路径中不能包含Bucket名称。
            String objectName = "exampledir/exampleobject.txt";
            // 待上传本地文件路径。
            String filePath = "D:\\localpath\\examplefile.txt";
            // 填写Bucket所在地域。以华东1(杭州)为例,Region填写为cn-hangzhou。
            String region = "cn-hangzhou";
    
            // 创建OSSClient实例。
            ClientBuilderConfiguration clientBuilderConfiguration = new ClientBuilderConfiguration();
            clientBuilderConfiguration.setSignatureVersion(SignVersion.V4);        
            OSS ossClient = OSSClientBuilder.create()
            .endpoint(endpoint)
            .credentialsProvider(credentialsProvider)
            .clientConfiguration(clientBuilderConfiguration)
            .region(region)               
            .build();
            
            try {
                // 创建InitiateMultipartUploadRequest对象。
                InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);
    
                // 如果需要在初始化分片时设置请求头,请参考以下示例代码。
                 ObjectMetadata metadata = new ObjectMetadata();
                // metadata.setHeader(OSSHeaders.OSS_STORAGE_CLASS, StorageClass.Standard.toString());
                // 指定该Object的网页缓存行为。
                // metadata.setCacheControl("no-cache");
                // 指定该Object被下载时的名称。
                // metadata.setContentDisposition("attachment;filename=oss_MultipartUpload.txt");
                // 指定该Object的内容编码格式。
                // metadata.setContentEncoding(OSSConstants.DEFAULT_CHARSET_NAME);
                // 指定初始化分片上传时是否覆盖同名Object。此处设置为true,表示禁止覆盖同名Object。
                // metadata.setHeader("x-oss-forbid-overwrite", "true");
                // 指定上传该Object的每个part时使用的服务器端加密方式。
                // metadata.setHeader(OSSHeaders.OSS_SERVER_SIDE_ENCRYPTION, ObjectMetadata.KMS_SERVER_SIDE_ENCRYPTION);
                // 指定Object的加密算法。如果未指定此选项,表明Object使用AES256加密算法。
                // metadata.setHeader(OSSHeaders.OSS_SERVER_SIDE_DATA_ENCRYPTION, ObjectMetadata.KMS_SERVER_SIDE_ENCRYPTION);
                // 指定KMS托管的用户主密钥。
                // metadata.setHeader(OSSHeaders.OSS_SERVER_SIDE_ENCRYPTION_KEY_ID, "9468da86-3509-4f8d-a61e-6eab1eac****");
                // 指定Object的存储类型。
                // metadata.setHeader(OSSHeaders.OSS_STORAGE_CLASS, StorageClass.Standard);
                // 指定Object的对象标签,可同时设置多个标签。
                // metadata.setHeader(OSSHeaders.OSS_TAGGING, "a:1");
                // request.setObjectMetadata(metadata);
    
                // 根据文件自动设置ContentType。如果不设置,ContentType默认值为application/oct-srream。
                if (metadata.getContentType() == null) {
                    metadata.setContentType(Mimetypes.getInstance().getMimetype(new File(filePath), objectName));
                }
    
                // 初始化分片。
                InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
                // 返回uploadId。
                String uploadId = upresult.getUploadId();
                // 根据uploadId执行取消分片上传事件或者列举已上传分片的操作。
                // 如果您需要根据uploadId执行取消分片上传事件的操作,您需要在调用InitiateMultipartUpload完成初始化分片之后获取uploadId。 
                // 如果您需要根据uploadId执行列举已上传分片的操作,您需要在调用InitiateMultipartUpload完成初始化分片之后,且在调用CompleteMultipartUpload完成分片上传之前获取uploadId。
                // System.out.println(uploadId);
    
                // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
                List<PartETag> partETags =  new ArrayList<PartETag>();
                // 每个分片的大小,用于计算文件有多少个分片。单位为字节。
                final long partSize = 1 * 1024 * 1024L;   //1 MB。
    
                // 根据上传的数据大小计算分片数。以本地文件为例,说明如何通过File.length()获取上传数据的大小。
                final File sampleFile = new File(filePath);
                long fileLength = sampleFile.length();
                int partCount = (int) (fileLength / partSize);
                if (fileLength % partSize != 0) {
                    partCount++;
                }
                // 遍历分片上传。
                for (int i = 0; i < partCount; i++) {
                    long startPos = i * partSize;
                    long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
                    UploadPartRequest uploadPartRequest = new UploadPartRequest();
                    uploadPartRequest.setBucketName(bucketName);
                    uploadPartRequest.setKey(objectName);
                    uploadPartRequest.setUploadId(uploadId);
                    // 设置上传的分片流。
                    // 以本地文件为例说明如何创建FIleInputstream,并通过InputStream.skip()方法跳过指定数据。
                    InputStream instream = new FileInputStream(sampleFile);
                    instream.skip(startPos);
                    uploadPartRequest.setInputStream(instream);
                    // 设置分片大小。除了最后一个分片没有大小限制,其他的分片最小为100 KB。
                    uploadPartRequest.setPartSize(curPartSize);
                    // 设置分片号。每一个上传的分片都有一个分片号,取值范围是1~10000,如果超出此范围,OSS将返回InvalidArgument错误码。
                    uploadPartRequest.setPartNumber( i + 1);
                    // 每个分片不需要按顺序上传,甚至可以在不同客户端上传,OSS会按照分片号排序组成完整的文件。
                    UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
                    // 每次上传分片之后,OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
                    partETags.add(uploadPartResult.getPartETag());
                }
    
    
                // 创建CompleteMultipartUploadRequest对象。
                // 在执行完成分片上传操作时,需要提供所有有效的partETags。OSS收到提交的partETags后,会逐一验证每个分片的有效性。当所有的数据分片验证通过后,OSS将把这些分片组合成一个完整的文件。
                CompleteMultipartUploadRequest completeMultipartUploadRequest =
                        new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
    
                // 如果需要在完成分片上传的同时设置文件访问权限,请参考以下示例代码。
                // completeMultipartUploadRequest.setObjectACL(CannedAccessControlList.Private);
                // 指定是否列举当前UploadId已上传的所有Part。仅在Java SDK为3.14.0及以上版本时,支持通过服务端List分片数据来合并完整文件时,将CompleteMultipartUploadRequest中的partETags设置为null。
                // Map<String, String> headers = new HashMap<String, String>();
                // 如果指定了x-oss-complete-all:yes,则OSS会列举当前UploadId已上传的所有Part,然后按照PartNumber的序号排序并执行CompleteMultipartUpload操作。
                // 如果指定了x-oss-complete-all:yes,则不允许继续指定body,否则报错。
                // headers.put("x-oss-complete-all","yes");
                // completeMultipartUploadRequest.setHeaders(headers);
    
                // 完成分片上传。
                CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
                System.out.println(completeMultipartUploadResult.getETag());
            } catch (OSSException oe) {
                System.out.println("Caught an OSSException, which means your request made it to OSS, "
                        + "but was rejected with an error response for some reason.");
                System.out.println("Error Message:" + oe.getErrorMessage());
                System.out.println("Error Code:" + oe.getErrorCode());
                System.out.println("Request ID:" + oe.getRequestId());
                System.out.println("Host ID:" + oe.getHostId());
            } catch (ClientException ce) {
                System.out.println("Caught an ClientException, which means the client encountered "
                        + "a serious internal problem while trying to communicate with OSS, "
                        + "such as not being able to access the network.");
                System.out.println("Error Message:" + ce.getMessage());
            } finally {
                if (ossClient != null) {
                    ossClient.shutdown();
                }
            }
        }
    }
  3. 设置备份文件的链接有效时间,并获取文件的链接地址。

    1. 登录OSS 管理控制台

    2. 单击Bucket 列表,然后单击目标Bucket名称。

    3. 在左侧导航栏,选择文件管理 > 文件列表

    4. 单击目标数据库备份文件的文件名。

    5. 在弹出的详情面板中,将过期时间 (秒)修改为28800秒,即8小时。

      重要

      将备份文件从OSS迁移至RDS时,需要使用备份文件的链接地址,如果超过了链接有效时间,将导致数据迁移失败。

    6. 单击复制文件URL,获取文件的链接地址。

      image.png

    7. 修改获取到的数据备份文件链接地址。

      默认获取的是文件的外网连接地址,如需通过内网迁移数据,您需要将文件链接地址中的Endpoint改成内网Endpoint。

      例如,备份文件的链接地址为http://rdstest.oss-cn-shanghai.aliyuncs.com/testmigraterds_20170906143807_FULL.bak?Expires=15141****&OSSAccessKeyId=TMP****,您需要将链接地址中的oss-cn-shanghai.aliyuncs.com修改为oss-cn-shanghai-internal.aliyuncs.com

      重要

      不同的网络类型、不同地域所对应的内网Endpoint不同。具体详情,请参见访问域名和数据中心

3. 将备份文件从OSS迁移至RDS

  1. 访问RDS实例列表,在上方选择地域,然后单击目标实例ID。

  2. 在左侧导航栏,单击数据库管理

  3. 找到目标数据库,单击操作列的从OSS上的备份文件迁入

  4. 数据导入向导对话框中,阅读提示内容,单击下一步

  5. 阅读OSS上传的相关提示内容,单击下一步

  6. 备份文件OSS URL栏中填写备份文件在OSS的链接地址,单击确定

    image.png

    说明

    RDS SQL Server 2008 R2本地盘实例当前仅支持将全量备份文件一次性迁入云上的方案。

4. 查看数据上云进度

您可以在左侧导航栏,单击数据上云,然后找到目标迁移任务来查看数据迁移的进度。

重要

如果任务状态显示为失败,请查看任务描述或单击目标迁移任务后面的查看文件详情,确认任务失败的原因并修复,然后重新执行数据迁移。

相关API

API

描述

CreateMigrateTask

将OSS上的备份文件还原到RDS SQL Server实例,创建数据上云任务。

CreateOnlineDatabaseTask

打开RDS SQL Server备份数据上云任务的数据库。

DescribeMigrateTasks

查询RDS SQL Server实例备份数据上云任务列表。

DescribeOssDownloads

查询RDS SQL Server备份数据上云任务的文件详情。