增量备份数据上云（SQL Server 2012及以上版本）

适用场景

RDS SQL Server增量数据上云适用于以下场景：

• 基于备份文件物理迁移至RDS SQL Server，而不是逻辑迁移。

  说明

  • 物理迁移是指基于文件的迁移，逻辑迁移是指将数据生成DML语句写入RDS SQL Server。

  • 物理迁移可做到数据库迁移后和本地环境100%一致。逻辑迁移无法做到100%一致，例如索引碎片率、统计信息等。

• 对业务停止时间敏感，需要控制在分钟级别。

  说明

  如果您对业务停止时间不敏感（如2小时），当数据库小于100 GB时，建议您通过全量备份文件上云。具体操作，请参见全量备份数据上云（SQL Server 2012及以上版本）。

前提条件

• OSS Bucket与RDS实例需要处于相同地域，关于如何创建OSS Bucket，详情请参见控制台创建存储空间。

• 数据库恢复模式为FULL。

  说明

  增量备份数据上云时，数据库的恢复模式必须是FULL模式，恢复模式是Simple模式时，不允许做事务日志备份，而差异备份文件有可能会很大，导致增量上云的时间很长。

• RDS实例拥有足够的存储空间。如果空间不足，请提前升级实例空间。

• RDS实例中没有同名的目标数据库。

• RDS实例已创建高权限账号。具体操作，请参见创建数据库和账号（SQL Server 2012、2014、2016、2017和2019）

• 在本地数据库环境中执行DBCC CHECKDB语句，以确保数据库中没有任何的allocation errors和consistency errors。正常执行结果如下：

  ...
  CHECKDB found 0 allocation errors and 0 consistency errors in database 'xxx'.
  DBCC execution completed. If DBCC printed error messages, contact your system administrator.

• 如果通过RAM用户登录，则必须满足以下条件：

  • RAM账号具备AliyunOSSFullAccess权限和AliyunRDSFullAccess权限。如何为RAM用户授权，请参见通过RAM对OSS进行权限管理和通过RAM对RDS进行权限管理。

  • 阿里云账号（主账号）已授权RDS官方服务账号可以访问您OSS的权限。

  • 所在阿里云账号（主账号）需手动创建权限策略，然后将权限添加到RAM账号中。如何创建权限策略，请参见通过脚本编辑模式创建自定义权限策略。

    策略内容如下：

    {
        "Version": "1",
        "Statement": [
            {
                "Action": [
                    "ram:GetRole"
                ],
                "Resource": "acs:ram:*:*:role/AliyunRDSImportRole",
                "Effect": "Allow"
            }
        ]
    }

注意事项

• 本方案迁移的级别为数据库，即每次只能迁移一个数据库上云。如果需要迁移多个或所有数据库，建议采用实例级的迁移上云方案。具体操作，请参见SQL Server实例级别迁移上云。

• 不支持高版本的备份文件往低版本做迁移，例如从SQL Server 2016迁移到SQL Server 2012。

• 备份文件名不能包含@、|等特殊字符，否则会导致上云失败。

• 授予RDS服务账号访问OSS的权限以后，系统会在访问控制RAM的角色管理中创建名为AliyunRDSImportRole的角色，请勿修改或删除这个角色，否则会导致上云任务无法下载备份文件而失败。如果修改或删除了这个角色，您需要通过数据上云向导重新授权。

• 本方案迁移上云后，无法使用原有的账号，需要在RDS控制台重新创建账号。

• 在OSS备份数据恢复上云任务没有完成之前，请不要删除OSS上的备份文件，否则会导致上云任务失败。

• 备份文件名仅支持bak、diff、trn或log为后缀名。如果没有使用本文中的脚本生成备份文件，请使用如下后缀名：

  • bak：表示全量备份文件。

  • diff：表示差异备份文件。

  • trn或者log：表示事务日志备份。

操作流程举例

根据上图增量上云案例，按时间维度，解释如下。

从整个的动作流程和时间轴来看，用户需要停止应用的时间非常的短，仅在最后一个LOG Backup之前停止应用写入即可。在本例中整个应用停止的时间控制在5分钟内。

备份本地数据库

1. 下载备份脚本，用SSMS打开备份脚本。

2. 修改如下参数。

   配置项	说明
   @backup_databases_list	需要备份的数据库，多个数据库以分号或者逗号分隔。
   @backup_type	备份类型。参数值如下： FULL：全量备份 DIFF：差异备份 LOG：日志备份
   @backup_folder	备份文件所在的本地目录。如不存在，会自动创建。
   @is_run	是否执行备份。参数值如下： 1：执行备份。 0：只做检查，不执行备份。

3. 执行备份脚本。

上传备份文件到OSS

1. 创建存储空间。

   1. 登录OSS管理控制台。

   2. 单击Bucket列表，然后单击创建Bucket。

   3. 配置如下关键参数，其他参数可以保持默认。

      说明

      创建的存储空间仅用于本次数据上云，且上云后不再使用，因此只需配置关键参数即可，为避免数据泄露及产生相关费用，上云完成后请及时删除。

      参数	说明	取值示例
      Bucket 名称	存储空间名称，全局唯一，设置后无法修改。 命名规则： 只能包括小写字母、数字和短划线（-）。 必须以小写字母或者数字开头和结尾。 长度必须在3~63字符之间。	migratetest
      地域	Bucket所属的地域，如果您通过ECS内网上传数据至Bucket中，且通过内网将数据恢复至RDS中，则需要三者地域保持一致。	华东1（杭州）

2. 上传备份文件到OSS。

   本地数据库备份完成后，需要将备份文件上传到您的OSS Bucket中，您可以采用如下方法之一：

   使用ossbrowser工具上传（推荐）

   1. 下载ossbrowser。

   2. 以Windows x64操作系统为例，解压下载的oss-browser-win32-x64.zip压缩包，双击运行oss-browser.exe应用程序。

   3. 使用AK登录方式，配置参数AccessKeyId和AccessKeySecret，其他参数保持默认，然后单击登入。

      说明

      AccessKey用于身份验证，确保数据安全，请妥善保管，如何创建及获取，请参见创建AccessKey。

   4. 单击目标Bucket，进入存储空间。

   5. 单击，选择需要上传的备份文件，然后单击打开，即可将本地文件上传至OSS中。

   使用OSS控制台上传

   说明

   如果备份文件小于5 GB，建议您直接通过OSS控制台上传备份文件。

   1. 登录OSS管理控制台。

   2. 单击Bucket列表，然后单击目标Bucket名称。

   3. 在文件列表中，单击上传文件。

   4. 您可以将备份文件拖拽至待上传文件区域，也可以单击扫描文件，选择需要上传的备份文件。

   5. 单击页面下方的上传文件，即可将本地备份文件上传至OSS中。

   使用OSS API分片上传

   说明

   如果备份文件大于5 GB，建议您调用OSS API采用分片上传的方式将备份文件上传到OSS Bucket中。

   本示例以Java项目为例，从环境变量中获取访问凭证代码。运行本代码示例之前，请先配置环境变量。如何配置访问凭证，请参见Java配置访问凭证。更多示例，请参见分片上传。

   import com.aliyun.oss.ClientException;
   import com.aliyun.oss.OSS;
   import com.aliyun.oss.common.auth.*;
   import com.aliyun.oss.OSSClientBuilder;
   import com.aliyun.oss.OSSException;
   import com.aliyun.oss.internal.Mimetypes;
   import com.aliyun.oss.model.*;
   import java.io.File;
   import java.io.FileInputStream;
   import java.io.InputStream;
   import java.util.ArrayList;
   import java.util.List;
   
   public class Demo {
   
       public static void main(String[] args) throws Exception {
           // Endpoint以华东1（杭州）为例，其它Region请按实际情况填写。
           String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
           // 从环境变量中获取访问凭证。运行本代码示例之前，请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
           EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
           // 填写Bucket名称，例如examplebucket。
           String bucketName = "examplebucket";
           // 填写Object完整路径，例如exampledir/exampleobject.txt。Object完整路径中不能包含Bucket名称。
           String objectName = "exampledir/exampleobject.txt";
           // 待上传本地文件路径。
           String filePath = "D:\\localpath\\examplefile.txt";
   
           // 创建OSSClient实例。
           OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);
           try {
               // 创建InitiateMultipartUploadRequest对象。
               InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);
   
               // 如果需要在初始化分片时设置请求头，请参考以下示例代码。
                ObjectMetadata metadata = new ObjectMetadata();
               // metadata.setHeader(OSSHeaders.OSS_STORAGE_CLASS, StorageClass.Standard.toString());
               // 指定该Object的网页缓存行为。
               // metadata.setCacheControl("no-cache");
               // 指定该Object被下载时的名称。
               // metadata.setContentDisposition("attachment;filename=oss_MultipartUpload.txt");
               // 指定该Object的内容编码格式。
               // metadata.setContentEncoding(OSSConstants.DEFAULT_CHARSET_NAME);
               // 指定初始化分片上传时是否覆盖同名Object。此处设置为true，表示禁止覆盖同名Object。
               // metadata.setHeader("x-oss-forbid-overwrite", "true");
               // 指定上传该Object的每个part时使用的服务器端加密方式。
               // metadata.setHeader(OSSHeaders.OSS_SERVER_SIDE_ENCRYPTION, ObjectMetadata.KMS_SERVER_SIDE_ENCRYPTION);
               // 指定Object的加密算法。如果未指定此选项，表明Object使用AES256加密算法。
               // metadata.setHeader(OSSHeaders.OSS_SERVER_SIDE_DATA_ENCRYPTION, ObjectMetadata.KMS_SERVER_SIDE_ENCRYPTION);
               // 指定KMS托管的用户主密钥。
               // metadata.setHeader(OSSHeaders.OSS_SERVER_SIDE_ENCRYPTION_KEY_ID, "9468da86-3509-4f8d-a61e-6eab1eac****");
               // 指定Object的存储类型。
               // metadata.setHeader(OSSHeaders.OSS_STORAGE_CLASS, StorageClass.Standard);
               // 指定Object的对象标签，可同时设置多个标签。
               // metadata.setHeader(OSSHeaders.OSS_TAGGING, "a:1");
               // request.setObjectMetadata(metadata);
   
               // 根据文件自动设置ContentType。如果不设置，ContentType默认值为application/oct-srream。
               if (metadata.getContentType() == null) {
                   metadata.setContentType(Mimetypes.getInstance().getMimetype(new File(filePath), objectName));
               }
   
               // 初始化分片。
               InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
               // 返回uploadId，它是分片上传事件的唯一标识。您可以根据该uploadId发起相关的操作，例如取消分片上传、查询分片上传等。
               String uploadId = upresult.getUploadId();
   
               // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
               List<PartETag> partETags =  new ArrayList<PartETag>();
               // 每个分片的大小，用于计算文件有多少个分片。单位为字节。
               final long partSize = 1 * 1024 * 1024L;   //1 MB。
   
               // 根据上传的数据大小计算分片数。以本地文件为例，说明如何通过File.length()获取上传数据的大小。
               final File sampleFile = new File(filePath);
               long fileLength = sampleFile.length();
               int partCount = (int) (fileLength / partSize);
               if (fileLength % partSize != 0) {
                   partCount++;
               }
               // 遍历分片上传。
               for (int i = 0; i < partCount; i++) {
                   long startPos = i * partSize;
                   long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
                   UploadPartRequest uploadPartRequest = new UploadPartRequest();
                   uploadPartRequest.setBucketName(bucketName);
                   uploadPartRequest.setKey(objectName);
                   uploadPartRequest.setUploadId(uploadId);
                   // 设置上传的分片流。
                   // 以本地文件为例说明如何创建FIleInputstream，并通过InputStream.skip()方法跳过指定数据。
                   InputStream instream = new FileInputStream(sampleFile);
                   instream.skip(startPos);
                   uploadPartRequest.setInputStream(instream);
                   // 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。
                   uploadPartRequest.setPartSize(curPartSize);
                   // 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出此范围，OSS将返回InvalidArgument错误码。
                   uploadPartRequest.setPartNumber( i + 1);
                   // 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。
                   UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
                   // 每次上传分片之后，OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
                   partETags.add(uploadPartResult.getPartETag());
               }
   
   
               // 创建CompleteMultipartUploadRequest对象。
               // 在执行完成分片上传操作时，需要提供所有有效的partETags。OSS收到提交的partETags后，会逐一验证每个分片的有效性。当所有的数据分片验证通过后，OSS将把这些分片组合成一个完整的文件。
               CompleteMultipartUploadRequest completeMultipartUploadRequest =
                       new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
   
               // 如果需要在完成分片上传的同时设置文件访问权限，请参考以下示例代码。
               // completeMultipartUploadRequest.setObjectACL(CannedAccessControlList.Private);
               // 指定是否列举当前UploadId已上传的所有Part。仅在Java SDK为3.14.0及以上版本时，支持通过服务端List分片数据来合并完整文件时，将CompleteMultipartUploadRequest中的partETags设置为null。
               // Map<String, String> headers = new HashMap<String, String>();
               // 如果指定了x-oss-complete-all:yes，则OSS会列举当前UploadId已上传的所有Part，然后按照PartNumber的序号排序并执行CompleteMultipartUpload操作。
               // 如果指定了x-oss-complete-all:yes，则不允许继续指定body，否则报错。
               // headers.put("x-oss-complete-all","yes");
               // completeMultipartUploadRequest.setHeaders(headers);
   
               // 完成分片上传。
               CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
               System.out.println(completeMultipartUploadResult.getETag());
           } catch (OSSException oe) {
               System.out.println("Caught an OSSException, which means your request made it to OSS, "
                       + "but was rejected with an error response for some reason.");
               System.out.println("Error Message:" + oe.getErrorMessage());
               System.out.println("Error Code:" + oe.getErrorCode());
               System.out.println("Request ID:" + oe.getRequestId());
               System.out.println("Host ID:" + oe.getHostId());
           } catch (ClientException ce) {
               System.out.println("Caught an ClientException, which means the client encountered "
                       + "a serious internal problem while trying to communicate with OSS, "
                       + "such as not being able to access the network.");
               System.out.println("Error Message:" + ce.getMessage());
           } finally {
               if (ossClient != null) {
                   ossClient.shutdown();
               }
           }
       }
   }

创建数据上云任务

1. 访问RDS实例列表，在上方选择地域，然后单击目标实例ID。

2. 在左侧菜单栏中选择备份恢复。

3. 单击页面上方的OSS备份数据恢复上云。

4. 在数据导入向导页面，单击两次下一步，进入数据导入步骤。

   说明

   如果您是第一次使用OSS备份数据恢复上云功能，需要给RDS官方服务账号授予访问OSS的权限，请单击授权地址并同意授权，否则会因权限问题导致OSS Bucket下拉列表为空。

5. 设置如下参数。

   配置项	说明
   数据库名	目标实例上的目标数据库名称，即数据导入RDS实例之后的数据库名，必须和备份中的数据库名不同。 说明 数据库名称需要符合SQL Server官方限制。
   OSS Bucket	选择备份文件所在的OSS Bucket。
   OSS子文件夹名	备份文件所在的子文件夹名字。
   OSS文件列表	单击右侧放大镜按钮，可以按照备份文件名前缀模糊查找，会展示文件名、文件大小和更新时间。请选择需要上云的备份文件。
   上云方案	选择不打开数据库。 打开数据库（只有一个全量备份文件）：全量上云，适合仅有一个完全备份文件上云的场景。此时CreateMigrateTask中的BackupMode = FULL并且IsOnlineDB = True。 不打开数据库（还有差异备份或日志文件）：增量上云，适合有完全备份文件加上日志备份（或者差异备份文件）上云的场景，此时CreateMigrateTask 中的BackupMode = UPDF 并且IsOnlineDB = False。

6. 单击确定。

请耐心等待上云任务完成，您可以单击刷新查看数据上云任务最新状态。

导入差异或日志备份文件

SQL Server本地数据库全量备份上云完成后，接下来需要导入差异备份或者日志备份文件。

1. 访问RDS实例列表，在上方选择地域，然后单击目标实例ID。

2. 在左侧菜单栏中选择备份恢复，单击备份数据上云记录页签。

3. 在任务列表中找到待导入备份文件的记录，在右侧单击上传增量文件，选择增量文件后单击确认。

   说明

   • 如果您有多个日志备份文件，请使用同样的方法逐个生成上云任务。

   • 请在上传增量文件时，尽量保证最后一个备份文件的大小不超过500MB，以此来缩短增量上云的时间开销。

   • 在最后一个日志备份文件生成前，请停止本地数据库所有的写入操作，以保证线下数据库和RDS SQL Server上的数据库数据一致。

打开数据库

导入文件后RDS SQL Server中的数据库会处于In Recovery或者Restoring状态。高可用系列会是In Recovery状态，单机版会是Restoring状态，此时的数据库还无法进行读写操作，需要打开数据库。

1. 访问RDS实例列表，在上方选择地域，然后单击目标实例ID。

2. 在左侧菜单栏中选择备份恢复，单击备份数据上云记录页签。

3. 在任务列表中找到待导入备份文件的记录，在右侧单击打开数据库。

4. 选择数据库的打开方式，单击确定。

   说明

   打开数据库一致性检查有以下两种方式：

   • 异步执行DBCC：在打开数据库的时候系统不做DBCC CheckDB，会在打开数据库任务结束以后，异步执行DBCC CheckDB操作，以此来节约打开数据库操作的时间开销（数据库比较大，DBCC CheckDB非常耗时），减少您的业务停机时间。如果您对业务停机时间要求非常敏感，且不关心DBCC CheckDB结果，建议使用异步执行DBCC。此时CreateMigrateTask 中的CheckDBMode = AsyncExecuteDBCheck。

   • 同步执行DBCC：相对于异步执行DBCC，有的用户非常关心DBCC CheckDB的结果，以此来找出用户线下数据库数据一致性错误。此时，建议您选择同步执行DBCC，影响是会拉长打开数据库的时间。此时CreateMigrateTask 中的CheckDBMode = SyncExecuteDBCheck。

查看上云任务备份文件详情

您可以在备份恢复页面备份数据上云记录页签内查看备份上云记录，单击对应任务最右侧的查看文件详情，将展示对应任务所有关联的备份文件详情。

常见错误

全量备份数据上云中常见错误部分请参见全量备份数据上云SQL Server 2012、2014、2016、2017、2019版本常见错误。用户在增量上云过程中，还有可能会遇到下面的错误：

• 数据库打开失败

  • 错误信息：Failed to open database xxx.

  • 错误原因：线下SQL Server数据库启用了一些高级功能，如果用户选择的RDS SQL版本不支持这些高级功能，会导致数据库打开失败。例如本地SQL Server数据库是企业版，启用了数据压缩（Data Compression）或者分区（Partition），OSS上云到RDS SQL Server Web版，就会报告这个错误。

  • 解决方法：

    • 在本地SQL Server实例上禁用高级功能，重新备份后，再使用OSS上云功能。

    • 购买与线下SQL Server实例相同版本的RDS SQL Server。

• 数据库备份链中LSN无法对接

  • 错误信息：The log in this backup set begins at LSN XXX, which is too recent to apply to the database.RESTORE LOG is terminating abnormally.

  • 错误原因：在SQL Server数据库中，差异备份或者日志备份能够成功还原的前提是，差异或者日志备份的LSN必须与上一次还原的备份文件LSN能够对接上，否则就会报告这个错误。

  • 解决方法：请选择对应的LSN备份文件进行增量备份文件上云，您可以按照备份文件备份操作时间先后顺序进行增量上云操作。

• 异步DBCC Checkdb失败

  • 错误信息：asynchronously DBCC checkdb failed: CHECKDB found 0 allocation errors and 2 consistency errors in table 'XXX' (object ID XXX).

  • 错误原因：备份文件还原到RDS SQL Server上，上云任务系统会异步做DBCC CheckDB检查，如果检查不通过，说明本地数据库中已经有错误发生。

  • 解决方法：

    • 在RDS SQL Server上执行：

      DBCC CHECKDB (DBName,REPAIR_ALLOW_DATA_LOSS)

      说明

      使用该命令修复错误的过程，可能会导致数据丢失。

    • 在本地使用如下命令修复错误后重新进行增量上云。

      DBCC CHECKDB (DBName,REPAIR_ALLOW_DATA_LOSS)

• 完全备份文件类型

  • 错误信息：Backup set (xxx) is a Database FULL backup, we only accept transaction log or differential backup.

  • 错误原因：在增量上云RDS SQL Server过程中，全量备份文件还原完毕后，就只能再接受日志备份文件或者是差异备份文件。如果用户再次选择了全量备份文件，就会报告这个错误。

  • 解决方法：选择日志备份文件或者差异备份文件。

• 数据库个数超出最大限制数

  • 错误信息：The database (xxx) migration failed due to databases count limitation.

  • 错误原因：当数据库达到数量限制以后再做上云操作，任务会失败报告这个错误。

  • 解决方法：迁移上云数据库到其他的RDS SQL Server，或者删除不必要的数据库。

• RAM账号操作权限不足

  Q：创建数据上云任务的步骤5中，各配置项参数均已填写完整，但确定按钮为灰色无法单击？

  A：无法单击的原因可能是您为RAM用户，您的账号权限不足。请参见本文前提条件，确保相应权限已授予。

相关API