首页 云备份 操作指南 备份 OSS备份 使用OSS清单创建大数据量OSS备份计划

使用OSS清单创建大数据量OSS备份计划

更新时间: 2023-09-22 11:56:02

在大数据量的OSS备份场景中,使用云备份的OSS清单功能进行备份,可显著提升增量备份的性能。本文介绍使用OSS清单功能创建OSS备份计划的操作方法。

前提条件

  • 已创建标准访问存储类型的存储空间(Bucket)。具体操作,请参见创建存储空间

  • 使用已有的OSS清单文件创建OSS备份时,该OSS清单文件必须满足以下条件:

    • 清单文件必须是启用状态的当前版本,并且其Bucket前缀必须与创建计划中参数备份Bucket Prefix的取值保持一致。

    • 清单文件当中字段必须包括Object大小、存储类型、最后更新日期和ETag。

    OSS清单

    具体操作,请参见设置存储空间清单

背景信息

OSS的清单功能用于记录存储空间(Bucket)中指定文件(Object)的数量、大小、存储类型、加密状态等信息。在大数据量的OSS备份场景中,使用云备份的OSS清单功能进行备份,可显著提升增量备份的性能。推荐1亿以上的对象使用OSS清单功能进行备份,OSS清单产生时间由OSS决定,清单文件产生之前备份将会失败。

注意事项

使用云备份的OSS清单功能备份OSS数据时,有如下注意事项:

  • 目前云备份不支持备份和恢复归档存储类型的Bucket、软链接(symlink)以及Object读写权限(ACL)。

  • 备份OSS将产生OSS请求费用,该费用由OSS收取。更多信息,请参见计费概述

  • 通过备份历史删除早期的备份版本时,不会影响其他备份版本数据的完整性。

  • OSS清单文件在OSS控制台进行维护。如何创建OSS清单,请参见设置存储空间清单

  • 为提升增量备份性能,云备份使用最近7天内最新的清单文件进行备份。

    生成OSS清单文件需要时间,在使用时有以下限制:

    • 备份任务触发时,如果没有任何OSS清单文件,则备份任务直接失败。

    • 备份任务触发时,如果有OSS清单文件,但是和上次相比没有更新,则备份任务失败。

    • 备份任务触发时,只会使用最近一次生成的OSS清单文件进行备份。备份完成后OSS清单文件中新增文件将在下个备份周期进行备份。

    • 备份执行间隔必须大于等于OSS清单的生成周期,以确保每次都能使用OSS清单文件进行备份。

    综上,建议您将首次备份时间置成OSS清单文件生成之后,或者在OSS清单文件生成之后点击立即执行手动执行一次备份,以便及时能使用清单文件加快备份速度。

操作步骤

您可以按如下步骤创建备份计划。

  1. 登录云备份Cloud Backup控制台

  2. 在左侧导航栏,选择备份 > OSS备份

  3. 在顶部菜单栏,选择OSS所在的地域。

  4. 备份计划页签,单击备份Bucket

  5. 创建备份计划面板,按照以下说明填写各项参数,然后单击确定

    说明

    您可以享受免费备份计划,计划到期日期为创建备份计划之日起1个月内,假设您于2020年2月14日创建备份计划,则您可享受的免费备份计划到期日期为2020年3月14日。使用该功能备份OSS将产生OSS请求费用和OSS清单存储费用,该费用由OSS收取。更多信息,请参见OSS计量计费

    本文档以付费模式为例,介绍操作的参数配置。免费模式配置与此相似。

    1. 单击立即转为付费使用

    2. 按以下说明填写基础设置中涉及的各项参数。

      重要
      • 如果您选择的地域支持备份策略,那么您只能通过关联备份策略设置备份计划,则云备份会按照该备份策略周期性的备份OSS。

      • 您可以在控制台左侧导航栏,单击策略中心,查看已支持备份策略的地域。如何创建备份策略,请参见新建备份策略

      参数

      说明

      备份OSS Bucket

      从下拉框中选择待备份的OSS Bucket名称。

      到期付费续用

      是否执行到期付费续用。

      • (默认值):免费备份计划到期后,不进行续费。您的备份计划将被删除。

      • :免费备份计划到期后,自动续费。

      备份库

      备份库配置

      配置备份保存的备份库。

      • 新建备份库:新建备份库的名称命名。可不填,默认名字随机分配。

      • 选择备份库:从备份库名称下拉框中选择已有备份库。

      为了最大程度地保障您备份数据的冗余性,在支持同城冗余备份库的地域,云备份将默认使用相应的同城冗余备份库;如果备份库所在地域只能提供本地冗余备份库,云备份将使用本地冗余备份库。您无需对备份库类型进行手动选择。

      备份库名称

      指定备份库的名称。

      备份库资源组

      仅当备份库配置参数取值为新建备份库时,需要配置该参数。表示备份库属于哪个资源组。

      资源组是在阿里云账号下进行资源分组管理的一种机制,资源组能够帮助您解决单个云账号内的资源分组和授权管理的复杂性问题。更多信息,请参见创建资源组

      备份库加密方式

      仅当备份库配置参数取值为新建备份库时,需要配置该参数。表示备份库的加密方式。

      • 云备份完全托管(默认值):使用备份服务默认加密方式。

      • KMS:使用阿里云KMS服务自定义密钥加密。需指定KMS密钥ID参数。

      重要
      • 使用KMS加密后,无法再修改KMS加密密钥。

      • 使用KMS密钥加密备份库,您需要提前创建阿里云KMS服务的KMS加密密钥ID。更多信息,请参见创建密钥

      基本设置

      备份计划名称

      为该备份计划命名。可不填,默认名字随机分配。

      备份Bucket Prefix

      指定备份某个Bucket的前缀,默认不指定前缀,即表示备份整个Bucket根目录。

      周期设置

      备份起始时间

      选择备份开始执行的时间。时间精确到秒。

      备份执行间隔

      选择增量备份的频率。默认值为1天。时间单位:天和周。

      备份保留策略

      配置备份保留策略。

      • 指定保留时间(默认值):保留指定时长,时长通过备份保留时间确定。

      • 永久:永久保存备份数据。

      重要

      创建备份库并存储备份数据后,云备份会收取备份存储容量使用费等。 更多信息,请参见计费方式与计费项

      备份保留时间

      仅当备份保留策略参数取值为指定保留时间时,需要配置该参数。表示备份保留时间。默认值为2年。时间单位:天、周、月、年。

      至少保留一个备份版本

      建议开启此选项。开启该选项后,本备份计划生成的最新一个备份版本不会因保留时间到期或误操作而删除,避免因备份计划设置不当等原因导致无备份版本可供恢复的风险。更多信息,请参考开启至少保留一个备份版本

      性能调优

      是否使用OSS清单

      是否使用OSS清单功能备份OSS文件。该场景配置为使用已有清单

      • 不使用:不使用OSS清单功能,即使用遍历Object方式备份。

      • 使用已有清单:使用已有的OSS清单文件进行备份,提升OSS增量备份性能。

      OSS清单名称

      仅当是否使用OSS清单配置为使用已有清单时,需要配置该参数。从OSS清单名称列表中,选择已创建的OSS清单。如何创建OSS清单,请参见设置存储空间清单

      您创建的OSS清单文件必须满足以下条件:

      • 清单文件必须是启用状态的当前版本,并且其Bucket前缀必须与创建计划中参数备份Bucket Prefix的取值保持一致。

      • 清单文件当中字段必须包括Object大小、存储类型、最后更新日期和ETag。

      • OSS清单的生成周期不能大于备份周期,以确保每次都能使用OSS清单文件进行备份。

      备份后是否删除清单文件

      备份计划完成后是否删除清单文件。该操作会对Bucket的清单文件进行删除。建议将清单文件放到独立Bucket或选择不删除进行手动管理。

      • 不删除:不删除清单文件。如果有其他应用程序访问该OSS清单文件,建议配置该选项。

      • 删除当前:删除本次备份任务中使用的清单文件。

      • 删除所有:备份完成之后删除所有这次备份之前生成的清单文件。如果没有其他应用程序访问该OSS清单文件,建议配置该选项。

    备份计划创建完成后,云备份将按照指定的备份起始时间、备份执行间隔进行OSS备份任务。

相关操作

您还可以在备份计划页签的操作列进行如下相关操作。

操作

说明

立即执行

立即开始执行备份任务。

编辑

已创建的OSS备份任务不满足预期,您可以修改OSS备份任务。

备份历史

您可以查看该文件系统最近3个月或者所有的备份历史。

暂停计划

暂停执行中的备份任务。

继续计划

将处于暂停状态的备份任务再次启动。

删除计划

删除执行中的备份任务。备份计划删除后,该备份计划不会继续执行,但仍保留已备份的数据。

报警设置

在备份失败或与服务器连接断开时,云备份默认通过报警设置的方式发送报警。更多信息,请参见备份报警

后续步骤

创建OSS恢复任务

阿里云首页 云备份 相关技术圈