ECS自建数据库备份管理

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

本文介绍如何使用数据灾备(DBS)实现ECS自建数据库的备份、管理以及恢复。

准备工作

当您配置物理备份计划前,需要先参考此处教程,添加备份网关。

添加备份网关

数据灾备(DBS)备份网关是一个安装在数据库服务器上的客户端程序,用于实现数据库从本地备份到DBS上、进行物理备份和恢复操作、以及实现自动下载备份集至自建服务器等功能。本文介绍如何安装DBS备份网关。

使用场景

使用场景

场景说明

功能说明

物理备份

物理备份是以数据库文件为单位进行备份,备份内容包括操作系统上的数据库文件。

备份网关会在数据库服务器启动一个进程,用于接收您在DBS控制台上执行的操作任务和备份计划配置任务,并对数据库进行备份和恢复操作。

私网备份

对于处于私网环境的数据库,如本地IDC私网数据库或其他云厂商私网数据库,DBS无法直接访问并进行备份。

备份网关可以作为一个中间件,主动访问DBS服务端和云端OSS,解决DBS无法直接访问私网数据库的问题。

自动下载备份集

数据库备份DBS支持自动下载备份集到本地。

备份网关会定期访问云存储,将备份集下载到本地,保证数据的安全性和可靠性。

说明
  • 本文操作仅适用于非堡垒机网络拓扑模型的场景,您只需要在数据库服务器上安装DBS备份网关即可。

  • 对于堡垒机网络拓扑模型的场景,由于数据库主机处于内网环境,需要通过堡垒机代理才能访问外部网络。备份网关需要能够通过堡垒机上的代理网关与外部进行通信,因此您需要安装堡垒机架构的备份网关。具体操作,请参见添加堡垒机架构备份网关

前提条件

  • DBS备份计划的备份方式物理备份。(逻辑备份无需安装备份网关)

  • 请确保已在数据库服务器上安装了Java环境。具体要求如下:

    • Linux服务器:必须安装JRE(Java Runtime Environment)1.8版本,您可以访问官网进行下载、安装。

    • Windows服务器:必须安装JDK(Java SE Development Kit)8u261版本,您可以访问官网进行下载和安装,其他版本会导致备份预检查失败。

    说明

    您可以在命令行窗口中执行java -version命令,确认当前Java版本是否正确。

  • 目标用户已完成如下动作:

    • 已创建AccessKey,并获取AccessKey IDAccessKey Secret信息,用于客户端网关的身份识别及注册上线至DBS控制台。具体操作,请参见创建AccessKey

    • 若用RAM账号(阿里云子账号)进行添加,需要获得AliyunDBSFullAccess和AliyunOSSFullAccess权限,具体操作,请参见为RAM用户授权

      说明
      • 主账号默认在开通DBS服务时已开通以上权限。

      • 添加成功后,当前账号下的所有用户在DBS控制台都可以看到该备份网关。

  • 请确保服务器安装路径的磁盘空间大于1 GB,并具备如下服务器权限:

    • Linux系统:root权限。

    • Windows系统:管理员权限。

  • 在备份SQL Server时,需要向NT AUTHORITY\SYSTEM账号授权Sysadmin角色。可执行如下SQL命令,或通过图形化界面进行设置:

    • SQL命令

      ALTER SERVER ROLE [sysadmin] ADD MEMBER [NT AUTHORITY\SYSTEM]
      GO
    • 图形化界面图形化界面设置

    说明

    AliyunDBSAgent默认的启动账号为NT AUTHORITY\SYSTEM。

注意事项

安装方法

DBS备份网关会根据系统环境,自动选择图形化或命令行的方式进行安装,同时您也可以通过无人值守的方式安装备份网关。

说明

默认会优先选择图形化方式进行安装(例如判断当前环境是否支持GUI,例如Windows或Linux的GNOME、KDE),仅在不支持GUI的情况下才会使用命令行方式进行安装。

图形化安装方式

  1. 登录数据管理DMS 5.0

  2. 单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份网关

    说明

    若您使用的是非极简模式的控制台,在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份网关

  3. 单击页面右上角的添加备份网关

  4. 复制备份网关安装命令,在Windows命令行窗口中执行命令。

    执行安装命令

    说明

    您也可以在控制台的安装命令中找到最新的下载链接,手动下载。

    1. 选择安装语言,单击下一步

    2. 阅读并接受协议条款,单击下一步

    3. 选择DBS备份网关,单击下一步

      说明

      本文以安装DBS备份网关为例,用于连接本机数据。如需连接堡垒机上的数据,请参见添加堡垒机架构备份网关

    4. 选择安装路径,单击下一步,并单击确认

    5. 确认备份网关地域,并输入AccessKey IDAccessKey Secret信息,单击下一步

      输入AK信息

      说明
      • 再次确认备份网关地域为数据库就近所在的地域,如需调整请选择目标地域。

      • AccessKey信息以明文方式存放在安装目录下的.\config\dbs-agent.conf中。

      • 堡垒机架构需要在数据库网关地址文本框中输入堡垒机的内网IP地址,数据库网关端口默认为9797。更多详情,请参见添加堡垒机架构备份网关

    6. 确认要安装的组件包,单击下一步

      软件将开始安装,安装时间大约为1~5分钟。

    7. 安装完成后,单击下一步

    8. 单击完成,此时备份网关已安装完成。

  5. 在Windows运行窗口中,输入services.msc,单击确定,打开系统的服务管理器。

  6. 在服务管理器中,确认该服务是否已启动,如未启动,请右键单击AliyunDBSAgent,在弹出的列表中选择启动

    启动备份网关

    说明

    系统将默认启动备份网关,您也可以在服务管理器中启动、停止AliyunDBSAgent的服务。

  7. 在DBS控制台,单击完成安装

    备份网关页面,单击刷新,可查看到新添加的备份网关。

    image.png

命令行安装方式

  1. 登录数据管理DMS 5.0

  2. 单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份网关

    说明

    若您使用的是非极简模式的控制台,在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份网关

  3. 单击页面右上角的添加备份网关

  4. 选择备份网关所在的网络类型,并复制备份网关安装命令,在数据库服务器上执行安装命令。

    说明
    • 公网:通过公网IP访问DBS。

    • ECS私网/VPC:通过阿里云专线访问DBS。

    1. 在Linux命令行中,执行安装命令,系统会下载并自动运行安装包。示例如下:

      [root@iZbp****** ~]# wget -O aliyunDBSAgentInstaller.jar https://aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com/installer/0.0.141/aliyunDBSAgentInstaller-0.0.141.jar && sudo java -Dregion=cn-hangzhou -jar aliyunDBSAgentInstaller.jar
      --2023-08-25 15:44:35--  https://aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com/installer/0.0.141/aliyunDBSAgentInstaller-0.0.141.jar
      Resolving aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com (aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com)... 100.XXX.XX.XX, 100.XXX.XX.XX, 100.XXX.XX.XX, ...
      Connecting to aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com (aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com)|100.XXX.XX.XX|:443... connected.
      HTTP request sent, awaiting response... 200 OK
      Length: 247955671 (236M) [application/x-java-archive]
      Saving to: ‘aliyunDBSAgentInstaller.jar’
      
      100%[=====================================================================================================================================================================>] 247,955,671 17.4MB/s   in 13s    
      
      2023-08-25 15:44:49 (17.6 MB/s) - ‘aliyunDBSAgentInstaller.jar’ saved [247955671/247955671]
    2. 选择安装语言。输入0表示选择中文,1表示选项英文。

      Select your language
      0  [x] chn
      1  [ ] eng
      Input selection: 
      0
    3. 输入1,并阅读备份网关协议。

      Press 1 to continue, 2 to quit, 3 to redisplay
      1
    4. 输入1,接受网关协议。

      Press 1 to accept, 2 to reject, 3 to redisplay
      1
    5. 选择安装组件,Y表示安装备份网关(Agent),N表示安装代理网关(数据库网关DG)。本文以安装备份网关为例,请选择Y

      ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      组件选择
      ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      
      -----
      Agent
      -----
      Enter Y for Yes, N for No: 
      Y
      DG Not Selected
      Done!
      说明

      本文以安装DBS备份网关为例,用于连接本机数据。如需连接堡垒机上的数据,请在此步骤输入N,系统将切换为数据库网关(DG),再输入Y确认组件信息。详情操作,请参见添加堡垒机架构备份网关

    6. 输入1,继续安装。

      Press 1 to continue, 2 to quit, 3 to redisplay
      1
    7. 选择安装路径,回车表示默认安装在默认路径/usr/local/aliyun/dbs_agent下。如需安装于其他路径下,请手动输入目标路径。本文以安装在默认路径下为例演示。

    8. 确认安装路径,O表示确认安装,C表示取消安装。

      目标目录将创建在 :
      /usr/local/aliyun/dbs_agent
      --------------------------------------
      Enter O for OK, C to Cancel: 
      O
    9. 确认备份网关的地域信息,并按回车键。

      说明

      再次确认备份网关地域为数据库就近所在的地域,如需调整请根据提示输入目标地域对应的数字。

    10. 输入阿里云AccessKey信息。请正确填写,填写错误会导致安装失败。

      阿里云AccessKey信息 (请确保该对应账户已经授予了AliyunDBSFullAccess和AliyunOSSFullAccess权限)
      AccessKey ID: [] 
      LTAI5t*****************
      Access Key Secret: [] 
      YaVXD8*************************
    11. (可选)输入代理网关(数据库网关DG)信息,适用于堡垒机场景。本教程为非堡垒机架构场景,可回车跳过此步骤。

      代理网关信息 (可选,适用于堡垒机场景)
      代理网关地址: [] 
      
      代理网关端口号: [9797] 
      说明

      堡垒机架构需要输入堡垒机的内网IP地址,端口默认为9797。更多操作,请参见添加堡垒机架构备份网关

    12. 输入1,并确认安装组件,继续输入1开始安装。

      等待安装完成即可,安装时间大约为1~5分钟。

      Press 1 to continue, 2 to quit, 3 to redisplay
      1
      
      ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      选择安装组件
      ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      
      选择你要安装的包 :
      
        [x] Pack 'DBS备份网关基础文件' required
      Done!
      
      Press 1 to continue, 2 to quit, 3 to redisplay
      1
      
      ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      安装中
      ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      
      ====================
      Installation started
      
      Platform: linux,version=3.10.0-1160.XX.X.el7.x86_64,arch=x64,symbolicName=null,javaVersion=1.8.0_372
      [ Starting to unpack ]
      [ Processing package: DBS备份网关基础文件 (1/1) ]
      Cleaning up the target folder ...
      [ Unpacking finished ]
      Installation finished
      
      ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      安装完成
      ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      
      Installation was successful
      Application installed on /usr/local/aliyun/dbs_agent
      [ Writing the uninstaller data ... ]
      [ Console installation done ]
  5. 返回添加备份网关页面,单击页面右下角完成安装按钮。

    image.png

  6. 备份网关页面,单击刷新按钮,可查看到新添加的备份网关。

    image.png

  7. (可选)您可以在Linux系统中使用如下命令管理备份网关。

    • 启动备份网关命令:/usr/local/aliyun/dbs_agent/bin/aliyun-dbs-agent.sh start

    • 停止备份网关命令:/usr/local/aliyun/dbs_agent/bin/aliyun-dbs-agent.sh stop

    • 重启备份网关命令:/usr/local/aliyun/dbs_agent/bin/aliyun-dbs-agent.sh restart

    • 卸载备份网关:在安装目录下执行java -jar Uninstaller/uninstaller.jar -c

无人值守安装方式

  1. 登录数据管理DMS 5.0

  2. 单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份网关

    说明

    若您使用的是非极简模式的控制台,在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份网关

  3. 单击页面右上角的添加备份网关

  4. 复制软件的下载路径,并手动下载至服务器中。

    image.png

  5. 执行如下命令,在指定路径下安装DBS备份网关。

    java -Dregion=<备份网关所在地域> -DINSTALL_GROUP=<备份组件> -Dakid=<AccessKey ID> -Daksecret=<AccessKey Secret信息> -DINSTALL_PATH=/usr/local/aliyun/dbs_agent -jar aliyunDBSAgentInstaller.jar -options-system -language eng

    参数

    说明

    Dregion

    备份网关所在地域。建议为数据库所在的地域。

    说明

    若不填写,默认为cn-hangzhou(杭州)。

    DINSTALL_GROUP

    安装的组件。取值说明:

    • Agent:DBS备份网关,用于连接本机数据。

    • DG:数据库网关,用于连接堡垒机的数据。

    Dakid

    AccessKey ID。

    Daksecret

    AccessKey Secret信息。

    DINSTALL_PATH

    软件安装路径。

    aliyunDBSAgentInstaller.jar

    从官网下载的软件名称。

升级备份网关

  1. 卸载原备份网关、删除备份文件夹dbs_agent,并清理环境。方法如下:

    Linux系统

    1. 登录Linux系统后,执行cd /usr/local/aliyun/dbs_agent命令进入默认安装目录。

    2. 在安装目录下执行java -jar Uninstaller/uninstaller.jar -c命令卸载原备份网关。如下图表示卸载成功。swss

    3. 执行cd /usr/local/aliyun命令返回上一级目录。

    4. 在上级目录执行sudo rm -rf dbs_agent命令删除dbs_agent文件夹。

    Windows系统

    1. 在Windows系统的程序和功能中卸载AliyunDBSAgent。

    2. 手动删除dbs_agent文件夹。

      说明

      DBS备份网关的默认安装路径为C:\Program Files\aliyun\dbs_agent

  2. 原网关卸载完成后,重新安装备份网关。如何安装,请参见安装方法

添加堡垒机架构备份网关

使用场景

公司内部的数据库处于内网环境中,无法直接连接外部网络,可以通过堡垒机代理进行访问。为了备份和恢复数据库数据,可以在堡垒机和数据库主机上分别安装代理网关和DBS备份网关,并进行配置。具体如下:

步骤

说明

步骤一:安装代理网关(堡垒机)

在堡垒机上安装代理网关。

代理网关的主要功能是在备份时接收从DBS备份网关所在的数据库主机发送过来的数据,并将数据转发至DBS云存储中(外网);同时,在进行恢复或下载数据库时,代理网关也可以接收DBS云存储发回的数据,并转发至数据库主机上。

步骤二:安装备份网关(数据库主机)

在数据库所在服务器上安装DBS备份网关,且在安装时,填写代理网关的IP地址(即堡垒机的内网IP地址)。

DBS备份网关是安装在数据库主机上的备份软件,其主要功能是在备份时连接、查询数据库,并将备份数据发送至代理网关所在的堡垒机。在进行恢复操作时,DBS备份网关通过代理网关从外部获取数据,并将数据写入数据库中。

说明

本文操作仅适用于堡垒机网络拓扑模型的场景,如果您只需要连接本机数据,在数据库服务器上安装DBS备份网关即可。具体操作,请参见添加备份网关

步骤一:安装代理网关(堡垒机)

本文以在Linux系统的堡垒机上安装代理网关为例。DBS支持命令行、图形化等多种安装方式,更多安装方式及前提条件与注意事项等信息,请参见添加备份网关

说明

Windows系统的堡垒机上安装代理网关的方法,请参见Windows系统的堡垒机

  1. 登录DBS控制台

  2. 单击左侧导航栏中的备份网关,然后在上方选择目标地域。

    备份地域选择备份网关

    说明

    请就近选择数据库所在的地域进行备份网关的安装。例如您的数据库在华东1(杭州)地域,建议安装华东1(杭州)地域的备份网关。

  3. 单击页面右上角的添加备份网关

  4. 选择备份网关所在网络类型,并复制备份网关安装命令,在数据库服务器上执行安装命令。

    说明
    • 公网:通过公网IP访问DBS。

    • ECS私网/VPC:通过阿里云专线访问DBS。

    1. 在Linux命令行中,执行安装命令,系统会下载并自动运行安装包。示例如下:

      [root@iZbp****** ~]# wget -O aliyunDBSAgentInstaller.jar https://aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com/installer/0.0.141/aliyunDBSAgentInstaller-0.0.141.jar && sudo java -Dregion=cn-hangzhou -jar aliyunDBSAgentInstaller.jar
      --2023-08-25 16:04:52--  https://aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com/installer/0.0.141/aliyunDBSAgentInstaller-0.0.141.jar
      Resolving aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com (aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com)... 100.XXX.XX.XX, 100.XXX.XX.XX, 100.XXX.XX.XX, ...
      Connecting to aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com (aliyun-dbs.oss-cn-hangzhou-internal.aliyuncs.com)|100.XXX.XX.XX|:443... connected.
      HTTP request sent, awaiting response... 200 OK
      Length: 247955671 (236M) [application/x-java-archive]
      Saving to: ‘aliyunDBSAgentInstaller.jar’
      
      100%[=======================================================================================================>] 247,955,671 19.9MB/s   in 11s    
      
      2023-08-25 16:05:03 (21.4 MB/s) - ‘aliyunDBSAgentInstaller.jar’ saved [247955671/247955671]
    2. 选择安装语言。输入0表示选择中文,1表示选择英文。

      Select your language
      0  [x] chn
      1  [ ] eng
      Input selection: 
      0
    3. 输入1,并阅读网关协议。

      Press 1 to continue, 2 to quit, 3 to redisplay
      1
    4. 输入1,接受网关协议。

      Press 1 to accept, 2 to reject, 3 to redisplay
      1
    5. 选择安装组件,Y表示安装备份网关(Agent),N表示安装代理网关(数据库网关DG)。本文以安装代理网关为例,请选择N,再输入Y确认组件信息。

      Enter Y for Yes, N for No: 
      N
      --
      DG
      --
      Enter Y for Yes, N for No: 
      Y
      Done!
    6. 输入1,继续安装。

      Press 1 to continue, 2 to quit, 3 to redisplay
      1
    7. 选择安装路径,回车表示默认安装在默认路径/usr/local/aliyun/dbs_agent下。

      如需安装于自定义路径下,请手动输入目标路径,并输入1进行确认。本文以安装在自定义目录/usr/local/aliyun/daili_dbs_agent下为例演示。

      选择安装路径 : [/usr/local/aliyun/dbs_agent] 
      /usr/local/aliyun/daili_dbs_agent
      
      Press 1 to continue, 2 to quit, 3 to redisplay
      1
    8. 确认安装组件,输入1开始安装。

      等待安装完成即可,安装时间大约为1~5分钟。

      选择你要安装的包 :
      
        [x] Pack '代理网关基础文件' required
      Done!
      
      Press 1 to continue, 2 to quit, 3 to redisplay
      1
      
      ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      安装中
      ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      
      ====================
      Installation started
      
      Platform: linux,version=3.10.0-1XXX.XX.X.el7.x86_64,arch=x64,symbolicName=null,javaVersion=1.8.0_372
      [ Starting to unpack ]
      [ Processing package: 代理网关基础文件 (1/1) ]
      Cleaning up the target folder ...
      [ Unpacking finished ]
      Installation finished
      
      ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      安装完成
      ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
      
      Installation was successful
      Application installed on /usr/local/aliyun/daili_dbs_agent
      [ Writing the uninstaller data ... ]
      [ Console installation done ]
  5. 执行如下命令,确认代理网关是否已安装成功。

    ps aux | grep app_aliyun_proxy

    如下表示进程正常,代理网关已安装成功。若出现其他无法解决的报错,请到DBS客户咨询群(钉钉群号:35585947)进行咨询。

    [root@iZbp****** ~]# ps aux | grep app_aliyun_proxy
    root     1****  0.0  0.5 7*****  9*** ?        Ssl  16:06   0:00 /usr/local/aliyun/daili_dbs_agent/dist/app_aliyun_proxy/app_aliyun_proxy -addr :9797 -logdir /usr/local/aliyun/daili_dbs_agent/logs
    root     2****  0.0  0.0 1*****   9** pts/1    S+   16:08   0:00 grep --color=auto app_aliyun_proxy

步骤二:安装备份网关(数据库主机)

在数据库所在服务器上安装DBS备份网关。具体操作,请参见添加备份网关

重要

在安装过程中,您需要确保:

  • 网关下载链接请使用安装代理网关(堡垒机)步骤4的链接。

  • 选择网关类型DBS备份网关

  • 代理网关地址填写步骤一中代理网关的IP地址(堡垒机的内网IP地址),代理网关端口号默认为9797

配置完成后,系统会尝试连接步骤一堡垒机中配置好的代理网关,若连接失败,则系统会报错,请重新检查代理网关的安装情况。

安装成功后,备份数据将先发送至代理网关所在的堡垒机上,再由堡垒机转发至外部。

创建备份计划

具体操作,请参见创建备份计划

说明

购买时,选择备份方式为物理备份

ECS自建数据库备份

MySQL

MySQL物理备份

说明

数据灾备(DBS)支持对MySQL数据库的物理文件进行全量备份、增量备份、Binlog日志文件备份。本文向您介绍如何通过配置MySQL物理备份计划,实现全量备份和增量备份,以满足数据灾难恢复、数据迁移等需求。

前提条件
  • 数据库为Linux系统的自建MySQL 8.0、5.7、5.6、5.5。

    说明
    • 自建MySQL 5.7、5.6、5.5支持版本:Red Hat Enterprise Linux / CentOS / Oracle Linux 6 、7、8。

    • 自建MySQL 8.0仅支持版本:Red Hat Enterprise Linux / CentOS / Oracle Linux 7。

    • 自建MySQL 8.0的内核小版本支持8.0.34及以下版本。

  • 已在数据库所在的服务器上添加备份网关。具体操作,请参见添加备份网关

配置备份计划
  1. 登录数据管理DMS 5.0

  2. 在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份计划

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份计划

  3. 找到目标备份计划ID,单击右侧操作列下配置备份计划

  4. 配置备份源和目标页面,配置备份源信息与备份目标信息,并单击页面右下角的下一步

    类别

    配置

    说明

    备份计划名称

    DBS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    备份源信息

    备份方式

    默认为创建计划时购买的备份方式,此处为物理备份。

    备份类型

    默认为原生物理备份

    实例地区

    选择待备份实例的所在地域,即目标备份网关的地域。

    备份网关

    选择目标备份网关,更多添加备份网关的说明请参见添加备份网关

    数据库类型

    默认为MySQL数据库。

    连接地址

    目标数据库的连接地址,默认为127.0.0.1

    端口

    目标数据库的连接端口,默认为3306

    数据库账号

    填入数据库账号,该账号需要具备一定的权限用于备份数据库,更多信息,请参见账号权限说明

    密码

    填入该数据库账号对应的密码。

    数据跨境合规承诺

    阅读并勾选合规承诺。

    备份目标信息

    备份目标存储类型

    存放备份数据的存储类型,支持的选项:

    • DBS内置存储(推荐):无需创建存储空间,数据将自动存入DBS内置存储中,会根据存入DBS的数据量产生费用,计费方式请参见计费项

    • 用户OSS:您需要提前在OSS中创建存储空间(Bucket),更多信息,请参见控制台创建存储空间

    说明
    • 本示例为选择DBS内置存储,当您选择用户OSS时,您还需额外配置对象存储OSS Bucket名称参数,且只支持OSS标准存储。

    • 当您的存储数据量较大时,推荐您购买DBS存储包(包年包月)抵扣DBS内置存储费用。相比按量付费,DBS存储包更加优惠。

    对象存储OSS Bucket名称

    请选择您的对象存储OSS Bucket名称。

    说明

    该参数仅在备份目标存储类型参数为用户OSS时显示。

    存储方式

    存储方式,支持的选项:

    • 内置加密存储(推荐):使用行业标准的AES256算法(即256位高级加密标准)进行加密存储。

      在对象存储OSS中支持服务器端加密功能。上传文件(Object)时,OSS对收到的文件进行加密,再将得到的加密文件持久化保存;下载文件时,OSS自动将加密文件解密后返回给用户。更多信息,请参见服务器端加密

    • 非加密存储:不开启加密。

  5. 配置备份对象页面,默认选择备份整个实例,单击下一步

    说明

    物理备份仅支持备份整个实例,同时会备份权限、存储过程等信息。

  6. 配置备份时间页面,配置备份时间等信息,并单击页面右下角的下一步

    配置

    说明

    全量备份频率

    按需选择周期备份单次备份

    说明

    若您选择周期备份,您还需配置全量备份周期全量备份开始时间增量日志实时备份

    全量备份周期

    勾选备份数据的周期,取值范围为星期一至星期日。每周最少备份1次,最多备份7次。

    全量备份开始时间

    选择备份开始时间,例如01:00,建议设置为业务低峰期。

    说明

    若到了指定备份时间点,仍有上次的全量备份任务在进行中,则会自动跳过一次备份。

    增量备份

    选择是否开启增量备份。

    说明
    • 该参数仅在全量备份频率参数为周期备份时显示。

    • 开启该参数时,请确保目标数据库已开启Binlog。

    全量备份并行线程数上限

    填写全量备份并行线程数上限,您可以通过设置该参数调节备份速度,例如降低备份线程数,以减少对数据库的影响。

    说明

    不同备份计划规格并行线程数上限不同,具体以控制台为准。更多信息,请参见如何调节备份速度

    备份读取限速

    磁盘I/O限制(默认为0,表示不限速),取值不限。

    备份网络限速

    网络带宽限制(默认为0,表示不限速),取值不限。

    增量备份间隔时间

    增量备份的间隔时间,系统会根据该时间间隔进行增量备份。如您将该间隔时间设置为10分钟,系统会每隔10分钟进行一次增量备份。

    说明

    该参数仅在增量备份参数为开启时显示。

    开启压缩

    选择是否开启压缩,支持的选项:

    • 开启(推荐):在备份时,对数据进行压缩,减少存储的空间。

    • 关闭:在备份时,不对数据进行压缩。

    压缩算法

    支持多种压缩工具:

    • GZIP(默认)

    • LZ4

    说明

    该参数仅在开启压缩参数为开启时显示。

  7. 配置生命周期页面,输入全量备份数据在DBS内置存储中的保存时间。

    若您在上一步开启了增量备份功能,您还需要配置增量备份数据的保存时间,关于备份数据生命周期的更多信息,请参见如何管理生命周期

  8. 完成上述配置后,单击页面右下角的预检查并启动

  9. 在预检查对话框中显示预检查通过后,单击立即启动

    MySQL物理备份预检查

    说明
    • 待备份计划状态变为运行中,表示备份计划已配置完成。

    • 如果备份计划出现异常或报错,建议您及时排查问题并修复。具体操作,请参见如何修复异常DBS备份计划。若按照文中修复建议仍未解决您的问题,请到DBS客户咨询群(钉钉群号:35585947)进行咨询。

MySQL日志备份

说明

数据灾备(DBS)在支持MySQL全量备份、增量备份基础上,新增支持备份MySQL Binlog日志文件。您可以通过三级备份(全量、增量、日志备份),将数据库恢复到任意时间点,实现秒级RPO(Recovery Point Objective)。

费用说明

开启该功能不收费。但开启该功能后,系统会根据产生的Binlog日志文件的备份量与存储量,收取相应备份费用和存储费用。收费详情,请参见计费项

准备工作

  1. 已完成MySQL自建数据库的物理备份。具体操作,请参见MySQL物理备份

  2. 数据库已开启Binlog,具体操作,请参见如下步骤:

    1. 用如下命令确认MySQL数据库的binlog是否已开启。

      show variables like '%log_bin%';
    2. 可选:若未开启,可参见如下命令开启Binlog:

      1. 在/etc/my.cnf文件中增加如下内容:

        log_bin = mysql-bin
        binlog_format = ROW
      2. 执行service mysql restart命令,重启MySQL服务。

开启增量日志备份

请参见开启或关闭增量日志备份

MySQL源端重复数据删除

说明

源端重复数据删除(Source deduplication)简称为源端重删,可在备份数据库时,在源端识别并去除已备份的重复数据,仅备份改动的数据。

背景信息

随着数据快速增长,传统备份上云的两个问题越来越突出:

  • 带宽成本:为保证短时间内大量备份数据能快速上云,通常需要较大的带宽专线进行支撑,这需要较昂贵的专线费用。

  • 存储成本:需要支付大量冗余数据的存储费用。

DBS在物理备份场景中,引入源端重删功能,可在备份数据过程中节省数据传输的网络带宽和数据存储容量。

下图为源端重删在备份流程中的架构设计。

图 1. 源端重删架构设计源端重删架构设计

支持的备份计划

自建MySQL数据库的物理备份。

典型应用场景

  • 备份数据较大

    当备份数据较大时,您可以通过源端重删降低网络带宽和数据存储的压力。

  • 数据改动频率低

    当数据改动较少时,源端重删功能可以识别并过滤出没有改动的数据,仅备份改动的数据,极大地提高了数据传输效率,并降低了数据存储成本。

    说明

    若数据没有改动时,源端重删可以在备份时实现零传输。

  • 数据长期归档场景

    源端重删不仅能过滤重复的数据,而且还能提供较普通备份场景更低的压缩率,在数据长期归档的场景中可以降低数据存储费用。

功能优势

基于源端重删技术的备份有如下功能优势:

  • 优秀的压缩率(即文件压缩后的大小与压缩前的大小之比):针对实际的MySQL数据进行了测试,测试结果显示源端重删的压缩率在25%左右,明显优于压缩率在40%左右的GZip。

  • 极速上传:将数据切片后并发上传,极大地提高了数据备份速度。

  • 性能损耗低:在保证重删率的情况下,选择了比较平衡的切片大小,消耗更少的CPU和内存。

  • 提供限流功能:您可以根据带宽情况,限制数据上传速度,保证线上服务稳定。

活动说明

该功能公测中,请使用钉钉搜索35585947群组,进群获取公测机会。公测阶段提供一对一技术服务,每个账号可获得一个免费的备份计划实例(三个月)。

SQL Server

前提条件

  • 数据库的版本为:SQL Server 2019、2017、2016、2014、2012、2008R2、2005、2000。

    说明

    仅支持本地自建数据库和云服务器上的自建数据库,不支持云数据库。

  • 已添加备份网关,具体操作,请参见添加备份网关

    说明

    更多备份方式的说明,请参见如何选择备份方式

配置备份计划

  1. 登录数据管理DMS 5.0

  2. 在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份计划

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份计划

  3. 找到目标备份计划ID,单击右侧操作列下配置备份计划

  4. 配置备份源和目标页面,配置备份源信息与备份目标信息,并单击页面右下角的下一步

    image

    类别

    配置

    说明

    备份计划名称

    DBS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    备份源信息

    备份方式

    默认为创建计划时购买的备份方式。本案例介绍SQL Server物理备份。

    实例地区

    选择待备份实例的所在地域,即目标备份网关的地域。

    备份网关

    选择目标备份网关,更多添加备份网关的说明请参见添加备份网关

    数据库类型

    默认为SQL Server数据库。

    连接地址

    待备份数据库的主机连接地址。默认为localhost

    端口

    目标数据库的连接端口。默认为1433

    数据跨境合规承诺

    阅读并勾选合规承诺。

    备份目标信息

    备份目标存储类型

    存放备份数据的存储类型,支持的选项:

    • DBS内置存储(推荐):无需创建存储空间,数据将自动存入DBS内置存储中,会根据存入DBS的数据量产生费用,计费方式请参见计费项

    • 用户OSS:您需要提前在OSS中创建存储空间(Bucket),更多信息,请参见控制台创建存储空间

    说明
    • 本示例为选择DBS内置存储,当您选择用户OSS时,您还需额外配置对象存储OSS Bucket名称参数,且只支持OSS标准存储。

    • 当您的存储数据量较大时,推荐您购买DBS存储包(包年包月)抵扣DBS内置存储费用。相比按量付费,DBS存储包更加优惠。

    存储方式

    请选择存储方式,当前支持:

    • 内置加密存储(推荐):使用行业标准的AES256算法(即256位高级加密标准)进行加密存储。

      在对象存储OSS中支持服务器端加密功能。上传文件(Object)时,OSS对收到的文件进行加密,再将得到的加密文件持久化保存;下载文件时,OSS自动将加密文件解密后返回给用户。更多信息,请参见服务器端加密

    • 非加密存储:不开启加密。

  5. 配置备份对象页面,将需要备份的库或者表移动到已选择数据库对象框中,单击下一步

    说明
    • 若此时源数据库对象为空,请排查备份网关的权限问题,请参见常见报错

    • 选择备份整个数据库时,将会同时备份权限、存储过程等信息。

  6. 配置备份时间页面,配置备份频率与策略,并单击页面右下角的下一步

    配置

    说明

    全量备份频率

    选择周期备份单次备份

    说明

    若您选择周期备份,您还需配置全量备份周期全量备份开始时间、增量备份等相关信息。

    全量备份周期

    勾选备份数据的周期。

    全量备份开始时间

    选择备份开始时间。

    说明

    若到了指定备份时间点,仍有上次的全量备份任务在进行中,则会自动跳过一次备份。

    增量备份

    选择是否开启增量备份,开启后系统将根据增量备份间隔时间进行定时增量备份。

    增量备份间隔时间

    填写增量备份间隔时间,系统会根据间隔进行增量备份。如您将该间隔时间设置为10分钟,系统会每隔10分钟进行一次增量备份。

    不自动删除已备份增量

    选择是否自动删除已备份的归档日志,取值说明:

    • 开启:不自动删除已备份的归档日志。

    • 关闭:自动删除已备份的归档日志,默认删除7天前的数据。

    说明

    若您希望调整删除的默认时间,例如您希望延长数据保留时间,调整为删除14天前的数据,请联系技术支持解决。

    开启压缩

    选择是否开启压缩,支持的选项:

    • 开启(推荐):在备份时,对数据进行压缩,减少存储的空间。

    • 关闭:在备份时,不对数据进行压缩。

  7. 配置生命周期页面,输入全量备份数据在DBS内置存储中的保存时间。

    若您在上一步开启了增量备份功能,您还需要配置增量备份数据的保存时间,关于备份数据生命周期的更多信息,请参见如何管理生命周期

  8. 完成上述配置后,单击页面右下角的预检查并启动

  9. 在预检查对话框中显示预检查通过后,单击立即启动

    SQL server预检查

Oracle

说明

使用数据灾备(DBS)在进行Oracle物理备份前,您需要参考本文完成准备工作,包含开启Oracle数据库的归档模式、获取Oracle SID及获取数据库程序目录。

Oracle物理备份的准备工作

前提条件

您的用户角色为DBA。

开启归档模式

数据灾备(DBS)通过Oracle的RMAN工具进行数据库备份。Oracle数据库的归档模式默认为关闭状态,需将其开启才能进行备份。

  1. 使用系统管理员sysdba角色通过as sysdba命令登录Oracle数据库。

  2. 通过SQL命令ARCHIVE LOG LIST查询当前数据库的归档状态,返回示例如下:

    Database log mode              No Archive Mode  #非存档模式
    Automatic archival             Disabled
    Archive destination            USE_DB_RECOVERY_FILE_DEST  
    Oldest online log sequence     1    
    Current log sequence           2  
    说明

    Database log mode参数返回Archive Mode #存档模式,则表示当前已开启归档模式,开启归档模式步骤结束,无需进行后续操作。

  3. 如果归档模式未开启,请通过SQL命令SHUTDOWN IMMEDIATE关闭数据库,因为无法在OPEN状态下开启归档模式。

    警告

    请管理员在非业务高峰期进行此操作。

  4. 通过SQL命令STARTUP MOUNT启动数据库至MOUNT状态。

  5. 通过SQL命令ALTER DATABASE ARCHIVELOG开启归档模式。

  6. 再次通过SQL命令ARCHIVE LOG LIST查询归档状态,返回示例如下:

    Databaselog mode             Archive Mode #存档模式
    Automatic archival           Enabled 
    Archive destination          USE_DB_RECOVERY_FILE_DEST 
    Oldest online log sequence 1
    Next log sequence to archive 2
    Currentlog sequence        2
    说明

    开启后,Oracle默认的日志归档路径为闪回恢复区($ORACLE_BASE/fast_recovery_area),该目录默认仅有4 GB的空间,同时也是备份文件和闪回日志的默认路径。为避免该磁盘空间不足导致数据库服务异常,您可按需调整该目录的空间大小或修改日志归档路径。

  7. 通过SQL命令ALTER DATABASE OPEN启动数据库。

获取Oracle SID
  • Linux

    执行如下命令,从系统进程信息中提取出正在运行的Oracle数据库实例的SID:

    ps -ef | grep ora_pmon_ | grep -v grep | awk -F "ora_pmon_" '{print "oracle sid: "$NF }' | grep -v print

    如下返回示例表示Oracle SID为orcl

    oracle sid: orcl
  • Windows

    在Windows的命令行界面中快速获取Oracle数据库实例的SID和服务名:

    sc query type=service | findstr SERVICE_NAME | findstr OracleService

    如下返回示例表示Oracle实例的SID为orcl,服务名为OracleServiceORCL

    SERVICE_NAME: OracleServiceORCL
获取数据库程序目录

数据库程序目录即为ORACLE_HOME地址。

  1. 打开命令行界面,使用su - oracle命令切换到Oracle用户。

  2. 在Oracle数据库中,使用echo $ORACLE_HOME命令查看当前系统中ORACLE_HOME环境变量所设置的路径地址。

    如下返回示例表示ORACLE_HOME地址为/opt/oracle/product/19c/dbhome_1

    /opt/oracle/product/19c/dbhome_1
Oracle RAC文件查询

为了保证备份成功,您需要在备份Oracle RAC前对控制文件、参数文件、数据文件、归档日志、REDO日志文件进行检查,备份其他架构无需执行以下操作。查询示例如下:

  • 查询REDO日志文件
    SELECT member FROM v$logfile WHERE type='ONLINE';

    返回示例如下:MEMBER中显示的值以+开头,ASM为DBSBAKDAT1DG

  • 查询归档日志文件
    SELECT name FROM v$archived_log WHERE DELETED='NO';

    返回示例如下:NAME中显示的值以+开头,ASM为DBSBAKDAT1DG

  • 查询数据文件
    SELECT name FROM v$datafile;

    返回示例如下: VALUE中显示的值以+开头,ASM为DBSBAKDAT1DG

  • 查询参数文件
    SHOW parameter spfile;

    返回示例如下:VALUE中显示的值以+开头,ASM为DBSBAKDAT1DG

  • 查询控制文件
    SHOW parameter control_files;

    返回示例如下:VALUE中显示的值以+开头,ASM为DBSBAKDAT1DG

Oracle物理备份

说明

数据灾备(DBS)支持对Windows或Linux操作系统上的Oracle数据库进行物理备份,支持备份Oracle单实例、Data Guard Physical Standby、RAC等多种架构的Oracle数据库。

支持物理备份的Oracle架构

单实例、单实例ASM、Oracle Data Guard Physical Standby、Oracle RAC

说明
  • 为了保证备份成功,需要在备份前对Oracle的控制文件、参数文件、数据文件、归档日志、REDO日志文件进行检查。具体操作,请参见Oracle物理备份的准备工作

  • 您只需在RAC多台实例中任意选择一台实例机器上部署备份网关并输入对应设备上的目标Oracle SID号,即可完成整个RAC的备份。

前提条件
  • 已开启Oracle数据库的归档模式。具体操作,请参见开启归档模式

  • 已获取Oracle SID。具体操作,请参见获取Oracle SID

  • 已在Oracle数据库所在的服务器上添加备份网关。具体操作,请参见添加备份网关

使用限制

由于DBS Oracle物理备份依赖于RMAN和控制文件来管理备份元信息。因此,为了保证备份和恢复的可靠性,使用DBS Oracle物理备份或恢复时,需注意以下限制:

  • 不支持为同一个Oracle数据库配置两个或更多备份计划,否则会导致恢复异常。

  • 按时间点进行Oracle恢复时,请勿删除指定时间点之前的最近一份全量备份集。如果删除了该备份集,会导致恢复异常。

配置备份计划
  1. 登录数据管理DMS 5.0

  2. 在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份计划

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份计划

  3. 找到目标备份计划ID,单击右侧操作列下配置备份计划

  4. 配置备份源和目标页面,配置备份源信息与备份目标信息,并单击页面右下角的下一步

    image.png

    类别

    配置

    说明

    备份计划名称

    DBS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    备份源信息

    备份方式

    默认为创建计划时购买的备份方式。本案例介绍Oracle物理备份。

    实例地区

    选择需要备份的实例所在地区。

    备份网关

    选择目标数据库的备份网关。添加备份网关的方法,请参见添加备份网关

    数据库类型

    默认为Oracle数据库。

    SID

    填入目标数据库的Oracle SID。更多信息,请参见获取Oracle SID

    登录数据库

    填入登录数据库的SQLPlus命令,格式为数据库账号/密码@实例名 as sysdba。例如,sys/password@orcl as sysdba

    说明

    您也可以直接填入 / as sysdba,若数据库环境禁用操作系统权限将导致无法登录,请仍使用数据库账号/密码@实例名 as sysdba格式登录。

    Oracle Home

    填入ORACLE_HOME的绝对路径。更多信息,请参见获取数据库程序目录

    说明

    本参数非必填。

    数据跨境合规承诺

    阅读并勾选合规承诺。

    备份目标信息

    备份目标存储类型

    备份目标存储类型,支持的选项:

    • DBS内置存储(推荐):无需创建存储空间,数据将自动存入DBS内置存储中,会根据存入DBS的数据量产生费用,计费方式请参见计费项

    • 用户OSS:您需要提前在OSS中创建存储空间(Bucket),更多信息,请参见控制台创建存储空间

    说明
    • 本示例为选择DBS内置存储,当您选择用户OSS时,您还需额外配置对象存储OSS Bucket名称参数,且只支持OSS标准存储。

    • 当您的存储数据量较大时,推荐您购买DBS存储包(包年包月)抵扣DBS内置存储费用。相比按量付费,DBS存储包更加优惠。

    存储方式

    存储方式,支持的选项:

    • 内置加密存储(推荐):使用行业标准的AES256算法(即256位高级加密标准)进行加密存储。

      在对象存储OSS中支持服务器端加密功能。上传文件(Object)时,OSS对收到的文件进行加密,再将得到的加密文件持久化保存;下载文件时,OSS自动将加密文件解密后返回给用户。更多信息,请参见服务器端加密

    • 非加密存储:不开启加密。

  5. 配置备份对象页面,默认选择备份整个实例,单击下一步

    说明

    选择备份整个数据库时,将会同时备份权限、存储过程等信息。

  6. 配置备份时间页面,配置备份时间等信息,并单击页面右下角的下一步

    配置

    说明

    全量备份频率

    按需选择周期备份单次备份

    全量备份周期

    勾选备份数据的周期,取值范围为星期一至星期日。每周最少备份1次,最多备份7次。

    全量备份开始时间

    选择备份开始时间,例如01:00,建议设置为业务低峰期。

    说明

    若到了指定备份时间点,仍有上次的全量备份任务在进行中,则会自动跳过一次备份。

    增量备份

    选择是否开启增量备份。

    说明

    开启该参数时,请确保目标数据库已开启Binlog,其中RDS MySQL已默认开启Binlog,自建数据库需要手动开启Binlog。

    该参数仅在全量备份频率参数为周期备份时显示。

    全量备份并行线程数上限

    填写全量备份并行线程数上限,您可以通过设置该参数调节备份速度,例如降低备份线程数,以减少对数据库的影响。

    备份网络限速

    网络带宽限制(默认为0,表示不限速),取值不限。

    增量备份间隔时间

    增量备份的间隔时间,系统会根据该时间间隔进行增量备份。如您将该间隔时间设置为10分钟,系统会每隔10分钟进行一次增量备份。

    备份成功后是否删除日志

    在备份成功后,是否从自建库中删除已成功备份的归档日志,支持的选项:

    • :在备份成功后,系统将从自建库中删除多少天前的归档日志,您还需配置删除多少天前的归档日志参数。默认为7天,表示在备份成功后,系统将在自建库中删除7天前的归档日志。

    • :不删除自建库中的归档日志。

    开启压缩

    选择是否开启压缩,支持的选项:

    • 开启(推荐):在备份时,对数据进行压缩,减少存储的空间。

    • 关闭:在备份时,不对数据进行压缩。

    备份集模式

    选择无入侵流式备份模式或秒级恢复挂载备份模式,支持的选项:

    • 无入侵流式备份模式:通过Oracle SBT(backup set)方式进行备份,通过虚拟化磁带接口流式备份上云,对源库无入侵,存储空间相对较少。

    • 沙箱实例挂载备份:通过RMAN执行Image Copy备份,备份数据将通过Fuse文件协议备份到OSS,备份期间数据不落盘,流式传输到OSS。若开启DBS沙箱功能,即可实现备份数据秒级挂载。

      说明

      您的服务器需要安装FUSE,否则会导致备份失败。

  7. 配置生命周期页面,输入全量备份数据在DBS内置存储中的保存时间。

    若您在上一步开启了增量备份功能,您还需要配置增量备份数据的保存时间,关于备份数据生命周期的更多信息,请参见如何管理生命周期

  8. 完成上述配置后,单击页面右下角的预检查并启动

  9. 在预检查对话框中显示预检查通过后,单击立即启动

    说明
    • 待备份计划状态变为运行中,表示备份计划已配置完成。

    • 如果备份计划出现异常或报错,建议您及时排查问题并修复。具体操作,请参见如何修复异常DBS备份计划。若按照文中修复建议仍未解决您的问题,请到DBS客户咨询群(钉钉群号:35585947)进行咨询。

Oracle永久增量备份

说明

您可以使用数据灾备(DBS)推出的Oracle永久增量备份功能(True Incremental-Forever Backup),通过完整全量备份(Full Backup)与增量合成备份(Synthetic Backup),降低备份成本以及备份过程中产生的资源开销等。

背景信息

Oracle永久增量备份的原理如下:

  1. 执行完整全量备份(Full Backup),即RMAN Level 0级备份,将备份Oracle所有的数据文件,同时备份归档日志,参数文件和控制文件。

  2. 增量合成备份(Synthetic Backup):

    1. 生成快照并挂载至本地:生成上一次全量备份集(完整全量备份或增量合成备份)的快照,通过FUSE将快照挂载(克隆)到本地自建库。

    2. 增量备份:备份上一次备份(完整全量备份或增量合成备份)后变更的数据块,保存为增量备份文件。

    3. 合成数据:通过SQL命令RMAN RECOVER COPY OF DATABASE WITH TAG 'DBS专属TAG',读取上个步骤中的增量备份数据,并将其与全量备份数据合并,将合成的结果写入(覆盖)到全量备份数据中。

      说明

      合并后的备份集不会影响上一次的全量备份集。

    4. 卸载本地自建库的挂载点。

说明

您可以在DBS中配置每周进行全量备份的次数,DBS会每周进行一次完整全量备份,而其余的备份将以增量合成备份的模式进行。每次进行完整全量备份后,该备份集会成为本周增量合成备份的起始点。

通过增量合成备份达到完整全量备份的效果,同时有如下优势:

  • 降低备份成本:减少备份的数据量、存储的数据量以及备份数据传输的网络带宽。

  • 降低资源开销:相比完整全量备份,增量合成备份只需要更少的源库磁盘IOPS。

  • 支持挂载:通过挂载可实现秒级恢复备份数据。

前提条件
  • Oracle数据库版本为11~19版本。

  • Oracle数据库的架构为单实例或RAC,暂不支持Oracle Data Guard Physical Standby架构。

  • Oracle数据库所在的服务器为Linux操作系统,已在目标服务器上添加备份网关,更多信息,请参见添加备份网关

  • 服务器已安装FUSE

  • 已开启Oracle数据库的归档模式。具体操作,请参见开启归档模式

  • 已获取Oracle SID。具体操作,请参见获取Oracle SID

  • 已开启Block Change Tracking。

    说明
    1. 您可以通过SQL命令 SELECT status FROM v$block_change_tracking;查询当前是否已开启Block Change Tracking,该参数默认为关闭。

      若返回ENABLED表示已开启,返回DISABLED表示未开启。

    2. 您可以通过如下SQL命令开启Block Change Tracking。

      ALTER DATABASE ENABLE BLOCK CHANGE TRACKING USING FILE <block change tracing文件路径> REUSE;
活动说明

该功能公测中,请使用钉钉搜索35585947群组,进群获取公测机会。

公测期间创建的Oracle备份计划仅支持备份集模式沙箱实例挂载备份,且默认开启沙箱功能,同时您可在公测期间为该备份计划创建免费的沙箱实例。更多信息,请参见DBS沙箱功能概览

说明

公测期间不支持关闭沙箱功能。

配置备份计划
  1. 登录数据管理DMS 5.0

  2. 在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份计划

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份计划

  3. 找到目标备份计划ID,单击右侧操作列下配置备份计划

  4. 配置备份源和目标页面,配置备份源信息与备份目标信息,并单击页面右下角的下一步

    image.png

    类别

    配置

    说明

    备份计划名称

    DBS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    备份源信息

    备份方式

    默认为创建计划时购买的备份方式。本案例介绍Oracle物理备份。

    实例地区

    选择需要备份的实例所在地区。

    备份网关

    选择目标数据库的备份网关。添加备份网关的方法,请参见添加备份网关

    数据库类型

    默认为Oracle数据库。

    SID

    填入目标数据库的Oracle SID。更多信息,请参见获取Oracle SID

    登录数据库

    填入登录数据库的SQLPlus命令,格式为数据库账号/密码@实例名 as sysdba。例如,sys/password@orcl as sysdba

    说明

    您也可以直接填入 / as sysdba,若数据库环境禁用操作系统权限将导致无法登录,请仍使用数据库账号/密码@实例名 as sysdba格式登录。

    Oracle Home

    填入ORACLE_HOME的绝对路径。更多信息,请参见获取数据库程序目录

    说明

    本参数非必填。

    数据跨境合规承诺

    阅读并勾选合规承诺。

    备份目标信息

    备份目标存储类型

    备份目标存储类型,支持的选项:

    • DBS内置存储(推荐):无需创建存储空间,数据将自动存入DBS内置存储中,会根据存入DBS的数据量产生费用,计费方式请参见数据灾备(DBS)存储计费

    • 用户OSS:您需要提前在OSS中创建存储空间(Bucket),更多信息,请参见控制台创建存储空间

    说明
    • 本示例为选择DBS内置存储,当您选择用户OSS时,您还需额外配置对象存储OSS Bucket名称参数,且只支持OSS标准存储。

    • 当您的存储数据量较大时,推荐您购买DBS存储包(包年包月)抵扣DBS内置存储费用。相比按量付费,DBS存储包更加优惠。

    存储方式

    存储方式,支持的选项:

    • 内置加密存储(推荐):使用行业标准的AES256算法(即256位高级加密标准)进行加密存储。

      在对象存储OSS中支持服务器端加密功能。上传文件(Object)时,OSS对收到的文件进行加密,再将得到的加密文件持久化保存;下载文件时,OSS自动将加密文件解密后返回给用户。更多信息,请参见服务器端加密

    • 非加密存储:不开启加密。

  5. 配置备份对象页面,默认选择备份整个实例,单击下一步

    说明

    选择备份整个数据库时,将会同时备份权限、存储过程等信息。

  6. 配置备份时间页面,配置备份时间等信息,并单击页面右下角的下一步

    配置

    说明

    全量备份频率

    按需选择周期备份单次备份

    说明

    若您选择周期备份,您还需配置全量备份周期全量备份开始时间增量日志实时备份

    全量备份周期

    勾选备份数据的周期,取值范围为星期一至星期日。每周最少备份1次,最多备份7次。

    全量备份开始时间

    选择备份开始时间,例如01:00,建议设置为业务低峰期。

    说明

    若到了指定备份时间点,仍有上次的全量备份任务在进行中,则会自动跳过一次备份。

    增量备份

    选择是否开启增量备份。

    全量备份并行线程数上限

    填写全量备份并行线程数上限,您可以通过设置该参数调节备份速度,例如降低备份线程数,以减少对数据库的影响。

    备份网络限速

    网络带宽限制(默认为0,表示不限速),取值不限。

    说明

    在对生产库进行备份时,建议按需配置备份网络限流,减少对生产库的影响。

    增量备份间隔时间

    增量备份的间隔时间,系统会根据该时间间隔进行增量备份。如您将该间隔时间设置为10分钟,系统会每隔10分钟进行一次增量备份。

    备份成功后是否删除日志

    在备份成功后,是否从自建库中删除已成功备份的归档日志。

    若选择,您还需配置删除多少天前的归档日志参数。

    删除多少天前的归档日志

    配置天数,在备份成功后,系统将从自建库中删除多少天前的归档日志。默认为7天,表示在备份成功后,系统将在自建库中删除7天前的归档日志。

    该参数仅在备份成功后是否删除日志参数为时显示。

    开启压缩

    选择是否开启压缩,支持的选项:

    • 开启(推荐):在备份时,对数据进行压缩,减少存储的空间。

    • 关闭:在备份时,不对数据进行压缩。

    选择备份集模式

    仅支持沙箱实例挂载备份模式,通过RMAN执行Image Copy备份,备份数据将通过Fuse文件协议备份到OSS,备份期间数据不落盘,流式传输到OSS。若开启DBS沙箱功能,即可实现备份数据秒级挂载。

    您的服务器需要安装FUSE,否则会导致备份失败。

  7. 配置生命周期页面,输入全量备份数据在DBS内置存储中的保存时间。

    若您在上一步开启了增量备份功能,您还需要配置增量备份数据的保存时间,关于备份数据生命周期的更多信息,请参见如何管理生命周期

  8. 完成上述配置后,单击页面右下角的预检查并启动

  9. 在预检查对话框中显示预检查通过后,单击立即启动

恢复ECS自建数据库备份

前提条件

  • 已完成数据库备份,具体操作,请参见ECS自建数据库备份

  • 准备一台服务器用于接收物理备份文件,并在服务器上安装备份网关。更多详情,请参见添加备份网关

  • SQL Server恢复目标数据库的版本需与原数据库版本保持一致。

    说明

    DBS支持备份和恢复的SQL Server数据库版本,请参见支持的数据库类型与功能

恢复操作

MySQL

  1. 登录数据管理DMS 5.0

  2. 在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份计划

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份计划

  3. 找到目标备份计划ID,单击右侧操作列下方的管理

  4. 备份任务配置页面,单击右上角的恢复数据库

  5. 配置恢复时间点页面,配置以下信息,并单击下一步

    类别

    配置

    说明

    恢复任务名称

    DBS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    恢复时间点

    可恢复的时间范围

    系统展示出可以恢复的时间范围,即首次至最近一次完成全量备份集的时间点。

    已选择的恢复时间点

    选择需要恢复的时间,设置的时间必须在可恢复的时间范围内。

    说明
    • 已开启增量日志备份,DBS支持恢复至自备份后的任意时间点。

    • 未开启增量日志备份,DBS支持恢复至全量备份集的时间点。

    恢复目标数据库

    实例地区

    选择恢复至目标地域,支持恢复至异地的备份网关。

    备份网关

    选择恢复至目标备份网关,更多添加网关的说明请参见添加备份网关

    说明

    该网关为待恢复的目标网关(Target)。

    数据库类型

    默认为MySQL数据库。

    数据库恢复目录

    填入数据库恢复目录,仅支持Linux绝对路径。

    说明

    为保证有足够的空间来进行恢复,建议数据恢复目录的空间大小为原实例大小的1.3倍以上,或者为DBS全量备份集大小的5~6倍以上(DBS备份时会有压缩)。

    登录控制台,在备份计划 > 备份计划列表页面单击备份计划名称,在备份任务 > 全量数据备份页面中查看全量数据集的大小,详情请参见查看备份计划

  6. 配置恢复对象页面,单击恢复整个实例,并单击页面右下角的预检查并启动

    说明

    目前物理备份仅支持恢复整个实例。

  7. 预检查对话框中显示预检查通过后,单击立即启动,等待数据库恢复完成。

    说明

    数据库恢复时间取决于备份计划规格与数据库的大小,规格越高,恢复速度越快,更多信息,请参见备份恢复性能说明

  8. 可选:启动数据库服务。

    1. 在服务器上部署MySQL服务,将my.cnf(数据库配置文件)中的datadir参数修改为当前已恢复的数据目录。

    2. 启动数据库服务,例如在Linux操作系统中,可以通过如下命令启动。

      service mysqld start

SQL Server

支持恢复的数据库类型

目标数据库类型

说明

ECS自建数据库

  • 需手动搭建目标数据库环境。

  • 可通过阿里云专有网络(VPC)实现快速恢复,VPC支持更安全稳定的网络连接。更多详情,请参见什么是专有网络

本地自建数据库

  • 需手动搭建目标数据库环境。

  • 恢复速度可能会受限于网络条件。

操作步骤

  1. 登录数据管理DMS 5.0

  2. 在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份计划

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份计划

  3. 找到目标备份计划ID,单击右侧操作列下的管理

  4. 备份任务配置页面,单击右上角的恢复数据库

  5. 配置恢复时间点页面,配置以下信息,并单击下一步

    image.png

    类别

    配置

    说明

    恢复任务名称

    DBS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    恢复时间点

    可恢复的时间范围

    系统展示出可以恢复的时间范围。

    已选择的恢复时间点

    选择需要恢复的时间,设置的时间必须在可恢复的时间范围内。

    恢复目标数据库

    实例地区

    选择恢复的目标实例所在地域,即目标备份网关的地域。

    备份网关

    选择目标备份网关。添加备份网关的方法,请参见添加备份网关

    数据库类型

    默认为SQL Server数据库。

    连接地址

    目标数据库的主机连接地址。默认为localhost。

    端口

    目标数据库的连接端口。默认为1433。

    数据跨境合规承诺

    阅读并勾选合规承诺。

  6. 选择整个实例添加到右侧已选框,单击预检查并启动

    您可以在左侧的恢复任务页签中,查看数据库恢复进度。

    说明

    恢复时间取决于备份计划规格与数据库的大小,规格越高,恢复速度越快。更多信息,请参见备份恢复性能说明

Oracle

支持的恢复方式

恢复方式

说明

配置说明

异机恢复

将数据库恢复至原服务器以外的机器上。

选择待恢复的目标服务器的备份网关。

原机异位置恢复

将数据库恢复至原服务器上的不同目录。

选择原服务器的备份网关,并配置不同的数据库恢复目录

原机原位置恢复

将数据库恢复至原服务器上的原目录。

选择原服务器的备份网关,并配置数据库恢复目录为数据库的原目录,若不填写,将默认为数据库的原目录。

使用限制

由于DBS Oracle物理备份依赖于RMAN和控制文件来管理备份元信息。因此,为了保证备份和恢复的可靠性,使用DBS Oracle物理备份或恢复时,需注意以下限制:

  • 不支持为同一个Oracle数据库配置两个或更多备份计划,否则会导致恢复异常。

  • 按时间点进行Oracle恢复时,请勿删除指定时间点之前的最近一份全量备份集。如果删除了该备份集,会导致恢复异常。

操作步骤

  1. 登录数据管理DMS 5.0

  2. 在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份计划

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份计划

  3. 找到目标备份计划ID,单击右侧操作列下方的管理

  4. 备份任务配置页面,单击右上角的恢复数据库

  5. 配置恢复时间点页面,配置以下信息,并单击下一步

    类别

    配置

    说明

    恢复任务名称

    DBS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    恢复时间点

    可恢复的时间范围

    系统展示出可以恢复的时间范围,即首次至最近一次完成全量备份集的时间点。

    已选择的恢复时间点

    选择需要恢复的时间,设置的时间必须在可恢复的时间范围内。

    说明
    • 已开启增量日志备份,DBS支持恢复至自备份后的任意时间点。

    • 未开启增量日志备份,DBS支持恢复至全量备份集的时间点。

    恢复目标数据库

    实例地区

    选择恢复的目标备份网关的所在地域。

    备份网关

    选择待恢复的目标备份网关。如何添加备份网关,请参见添加备份网关

    数据库类型

    默认为Oracle数据库。

    连接地址

    目标数据库的连接地址。默认为localhost

    端口

    目标数据库的连接端口。默认为1521

    SID

    填入对应SID名称。

    说明

    您可以在ORACLE_HOME/dbs目录下,根据SID名称自定义参数文件。若未创建参数文件,系统将自动创建一个最小可用的参数文件,用于恢复Oracle数据库。

    数据库恢复目录

    填入数据库恢复目录。

    说明

    为保证有足够的空间来进行恢复,建议存储空间(GB)为原实例的1.3倍以上,或者为DBS全量备份集大小的5~6倍以上(DBS备份时会有压缩)。

    登录控制台,在备份计划 > 备份计划列表页面单击备份计划名称,在备份任务 > 全量数据备份页面中查看全量数据集的大小,详情请参见查看备份计划

    数据库程序目录

    填入ORACLE_HOME的绝对路径。

    数据跨境合规承诺

    阅读并勾选合规承诺。

  6. 配置恢复对象页面,单击恢复整个实例,并单击页面右下角的预检查并启动

    说明

    目前物理备份仅支持恢复整个实例。

  7. 预检查对话框中显示预检查通过后,单击立即启动,等待数据库恢复完成。

    说明

    数据库恢复时间取决于备份计划规格与数据库的大小,规格越高,恢复速度越快,更多信息,请参见备份恢复性能说明

  8. 可选:进入数据库,执行如下SQL语句,启动数据库。

    ALTER database OPEN RESETLOGS;

Redis

将步骤一中生成的备份集恢复到提前新建的云数据库Redis实例中。如何创建云数据库Redis实例,请参见创建Redis实例

  1. 登录数据管理DMS 5.0

  2. 在顶部菜单栏中,选择安全与规范(DBS) > 数据灾备(DBS) > 备份计划

    说明

    若您使用的是极简模式的控制台,请单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > 安全与规范(DBS) > 数据灾备(DBS) > 备份计划

  3. 进入步骤一中所创建的自建Redis备份计划详情页面。

  4. 在左侧导航栏单击备份任务 > 全量数据备份,在页面右上角单击恢复数据库

    image

  5. 配置恢复时间点页面,配置以下信息,并单击下一步

    image

    类别

    配置

    说明

    恢复任务名称

    DBS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。

    恢复时间点

    可恢复的时间范围

    系统展示出可以恢复的时间范围,即首次至最近一次完成全量备份集的时间点。

    已选择的恢复时间点

    选择需要恢复的时间,设置的时间必须在可恢复的时间范围内。

    说明
    • 已开启增量日志备份,DBS支持恢复至自备份后的任意时间点。

    • 未开启增量日志备份,DBS支持恢复至全量备份集的时间点。

    恢复目标数据库

    数据库所在位置

    选择恢复目标数据库所在位置,选择云数据库Redis

    实例地区

    选择恢复的目标实例的所在地域。

    数据库类型

    默认为Redis

    Redis实例ID

    选择恢复至目标阿里云Redis实例ID。

    密码

    填入该数据库账号对应的密码。

    数据跨境合规承诺

    请阅读并勾选合规声明。

  6. 配置恢复对象页面,配置以下信息,并单击页面右下角的预检查并启动

    配置

    说明

    冲突处理

    默认冲突处理遇到同名对象则重命名,例如表job_info恢复时遇到同名表时,系统会将新表重命名为job_info_dbs_<恢复任务ID>_<时间戳>

    恢复对象

    源数据库对象栏中选择需要恢复的数据库或表,将其移动到已选择数据库对象栏中。

    说明

    部分数据库支持单表或单库恢复粒度,减少恢复的数据量,缩短恢复时间RTO(Recovery Time Objective)。具体支持的恢复粒度,请参见支持的数据库类型与功能

  7. 预检查对话框中显示预检查通过后,单击立即启动

    您可以在左侧的恢复任务页签中,查看数据库恢复进度。

    说明

    恢复时间取决于备份计划规格与数据库的大小,规格越高,恢复速度越快。更多信息,请参见备份恢复性能说明

常见问题

  • 备份SQL Server时,显示备份账号权限不足。

    在备份SQL Server时,需要向NT AUTHORITY\SYSTEM账号赋予Sysadmin角色。您可以执行如下SQL命令,或通过图形化界面进行设置:

    • SQL命令

      ALTER SERVER ROLE [sysadmin] ADD MEMBER [NT AUTHORITY\SYSTEM]
      GO
    • 图形化界面图形化界面设置

  • 备份网关升级或重装后,网关名称和网关创建时间是否会发生变化?更换操作系统之后网关名称和网关创建时间是否会发生变化?

    • 若您的硬件环境(CPU型号/MAC地址)没有发生变更,备份网关升级或者重装,备份网关名称和创建时间不会变化。

    • 若您更换操作系统,备份网关名称和创建时间将会发生变化。

      说明

      例如将CentOS 7.9系统更换为Alibaba Cloud Linux 3.2104 LTS系统,备份网关名称和创建时间则会发生变化。

    • 若您重装操作系统(重装前和重装后的操作系统相同),备份网关名称和创建时间不会发生变化。

      说明

      例如将CentOS 7.9系统重装为CentOS 8.5系统,备份网关名称和创建时间不会发生变化。

  • 物理备份网关开启安全升级。

    解决方案:部分旧版本备份网关存在Log4j漏洞,具体请参见【漏洞通告】Apache Log4j2 远程代码执行漏洞(CVE-2021-44228/CVE-2021-45046)。建议使用备份网关0.0.129版本以下的用户,请尽快升级到最新版本,并为物理备份计划重新连接备份网关。升级方法,请参见升级备份网关

  • 本地服务器显示备份网关已安装成功,但控制台的备份网关页面没有显示已安装好的网关,可能是什么原因?

    • 备份网关可能还未启动。请参见图形化安装方式的步骤5~步骤6启动已安装好的备份网关。

    • 确认服务器备份网关安装地域与控制台备份网关所在地域是否一致。

    • 请查看您的agent日志中是否出现报错。例如,AccessKey信息有误等。

    • 未刷新备份网关列表。请在备份网关页面,单击刷新按钮,可查看到新添加的备份网关。

  • 备份网关安装成功后,控制台显示网关离线,可能是什么原因?

    • 备份网关可能还未启动。请参见图形化安装方式的步骤5~步骤6启动已安装好的备份网关。

    • 确认服务器备份网关安装地域与控制台备份网关所在地域是否一致。

    • 可能由于网络不通或路由问题导致网关离线。

    • 服务器安装的JRE或JDK版本可能有误。请参见本文前提条件访问官网安装JRE1.8版本或JDK8u261版本的Java环境。

  • 备份网关已正常安装,在配置备份计划时,为什么源数据库对象为空?

    源数据库对象为空

    原因为备份账号权限不足,您需要向NT AUTHORITY\SYSTEM账号赋予Sysadmin角色。您可以执行如下SQL命令或通过图形化界面进行设置:

    • SQL命令

      ALTER SERVER ROLE [sysadmin] ADD MEMBER [NT AUTHORITY\SYSTEM]
      GO
    • 图形化界面图形化界面设置

  • 测试连接时显示DBS Agent Connect诊断失败?

    出现该报错后请按照如下步骤排查报错原因:

    1. 在控制台检查备份网关状态是否异常。

    2. 备份网关可能还未启动。请参见添加备份网关的步骤5~6启动已安装好的备份网关。

    3. 确认服务器备份网关安装地域与控制台备份网关所在地域是否一致。

    4. 服务器安装的JRE或JDK版本可能有误。请参见添加备份网关文档的前提条件访问官网安装指定版本的JRE或JDK。

    5. 可能由于网络不通或路由问题导致网关离线。

  • 是否支持直接将一个Oracle数据库同时备份到不同的地域,以实现多地存储?

    由于数据灾备(DBS)的备份功能是基于RMAN进行管理的,RMAN的备份元信息结构不支持交叉备份的形态。因此,暂无法直接将备份数据同时备份到不同的地域。