使用OSS清单功能备份大数据量OSS文件

使用对象存储OSS的清单功能可以周期性生成清单文件。在大数据量的OSS备份场景中,云备份使用OSS清单功能进行备份,可显著提升备份的效率和性能。云备份提供了灵活的备份策略配置选项,可以将数据备份到云端,并随时查看和恢复数据。本文介绍如何使用云备份来备份OSS Bucket中大量的文件。

前提条件

  • 已开通阿里云云备份服务。开通云备份不收取任何费用,使用云备份的OSS备份功能将产生云备份存储容量费用和OSS请求费用等。OSS请求费用由OSS收取。更多信息,请参见备份OSS费用

  • 已创建标准访问或低频访问存储类型的存储空间(Bucket)。具体操作,请参见创建存储空间

  • 使用已有的OSS清单文件创建OSS备份时,该OSS清单文件必须满足以下条件:

    • 清单文件必须是启用状态的当前版本,并且其Bucket前缀必须与创建计划中参数备份Bucket Prefix的取值保持一致。

    • 清单文件当中字段必须包括Object大小、存储类型、最后更新日期和ETag。

    OSS清单

    具体操作,请参见设置存储空间清单

背景信息

OSS的清单功能用于记录存储空间(Bucket)中指定文件(Object)的数量、大小、存储类型、加密状态等信息。在大数据量的OSS备份场景中,使用云备份的OSS清单功能进行备份,可显著提升增量备份的性能。推荐1亿以上的对象使用OSS清单功能进行备份,OSS清单产生时间由OSS决定,清单文件产生之前备份将会失败。更多信息,请参见设置存储空间清单

注意事项

使用云备份的OSS清单功能备份OSS数据时,有如下注意事项:

  • 首次创建备份计划或绑定备份策略,云备份会自动创建服务关联角色AliyunServiceRoleForHbrOssBackup,用于获取访问相关资源权限。页面会弹出授权对话框,根据提示授权角色。更多信息,请参见云备份服务关联角色

  • 云备份仅支持备份和恢复标准和低频访问存储类型的Bucket,不支持备份和恢复归档、冷归档以及深冷归档等存储类型的Bucket。

  • 云备份仅支持备份和恢复标准和低频访问存储类型的Object,不支持备份和恢复归档、冷归档以及深冷归档等存储类型的Object。

  • 云备份不支持备份和恢复Object的读写权限ACL。

  • 备份OSS将产生OSS请求费用,该费用由OSS收取。更多信息,请参见OSS计量计费

  • 云备份读取低频访问的Bucket或者Object的OSS数据进行备份会产生OSS数据取回费用。该费用按数据取回量计费,由OSS收取。更多信息,请参见数据处理费用

  • 通过备份历史删除早期的备份版本时,不会影响其他备份版本数据的完整性。

  • OSS清单文件在OSS控制台进行维护。如何创建OSS清单,请参见设置存储空间清单

  • 创建OSS Bucket时开启的定时备份为30天免费使用计划,到期会自动停用。建议您及时转为付费使用。

    重要

    免费试用计划存在限制,无法编辑备份路径和备份周期,每个免费备份计划使用各自独立的备份库,并且转付费之后不可更换备份库。如果您计划将来所有数据备份到同一个备份库,请不要使用免费试用计划。

  • 为提升增量备份性能,云备份使用最近7天内最新的清单文件进行备份。

    生成OSS清单文件需要时间,在使用时有以下限制:

    • 备份任务触发时,如果没有任何OSS清单文件,则备份任务直接失败。

    • 备份任务触发时,如果有OSS清单文件,但是和上次相比没有更新,则备份任务失败。

    • 备份任务触发时,只会使用最近一次生成的OSS清单文件进行备份。备份完成后OSS清单文件中新增文件将在下个备份周期进行备份。

    • 备份执行间隔必须大于等于OSS清单的生成周期,以确保每次都能使用OSS清单文件进行备份。

    综上,建议您将首次备份时间置成OSS清单文件生成之后,或者在OSS清单文件生成之后单击立即执行手动执行一次备份,以便及时能使用清单文件加快备份速度。

创建备份计划周期性备份大数量OSS文件

说明

创建备份计划后,执行的第一次备份任务为全量备份,之后默认为增量备份。

您可以按如下步骤创建备份计划。

  1. 登录云备份Cloud Backup控制台

  2. 在左侧导航栏,选择备份 > OSS备份

  3. 在顶部菜单栏,选择OSS所在的地域。

  4. OSS备份页面,单击创建备份计划

  5. 创建备份计划面板,按照以下说明填写各项参数,然后单击确定

    说明
    • 您可以享受免费备份计划,计划到期日期为创建备份计划之日起1个月内,假设您于2020年2月14日创建备份计划,则您可享受的免费备份计划到期日期为2020年3月14日。使用该功能备份OSS将产生OSS请求费用和OSS清单存储费用,该费用由OSS收取。更多信息,请参见OSS计量计费

    • 免费试用计划无法编辑备份路径和备份周期,每个免费备份计划使用各自独立的备份库,并且转付费之后不可更换备份库。如果您计划将来所有数据备份到同一个备份库,请不要使用免费试用计划。

    本文档以付费模式为例,介绍操作的参数配置。免费模式配置与此相似。

    1. 单击立即转为付费使用,然后在对话框中单击确认

    2. 按以下说明填写基础设置中涉及的各项参数。

      重要
      • 如果您选择的地域支持备份策略,那么您只能通过关联备份策略设置备份计划,则云备份会按照该备份策略周期性的备份OSS。

      • 您可以在控制台左侧导航栏,单击策略中心,查看已支持备份策略的地域。如何创建备份策略,请参见新建备份策略

      参数

      说明

      备份OSS Bucket

      从下拉框中选择待备份的OSS Bucket名称。云备份会自动获取您账号下该地域的所有Bucket列表。

      备份Bucket Prefix

      从下拉框中选择备份Bucket的目录。默认不选择时表示备份整个Bucket根目录。

      备份策略

      从下拉框选择合适的备份策略。

      云备份会按照您设置的备份策略,自动备份数据源。备份策略主要包括备份库加密方式、备份间隔、备份保留时间、异地复制策略以及备份自动归档等操作,帮助您灵活管理各数据源资产。

      如果默认备份策略无法满足您的备份方案,您可以单击新建策略编辑策略,新建或者修改备份策略。

      关于备份策略中的参数解读,请参见管理备份策略

      性能调优

      是否使用OSS清单

      是否使用OSS清单功能备份OSS文件。该场景配置为使用已有清单

      • 不使用:不使用OSS清单功能,即使用遍历Object方式备份。

      • 使用已有清单:使用已有的OSS清单文件进行备份,提升OSS增量备份性能。

      OSS清单名称

      仅当是否使用OSS清单配置为使用已有清单时,需要配置该参数。从OSS清单名称列表中,选择已创建的OSS清单。

      您创建的OSS清单文件必须满足以下条件:

      • 清单文件必须是启用状态的当前版本,并且其Bucket前缀必须与创建计划中参数备份Bucket Prefix的取值保持一致。

      • 清单文件当中字段必须包括Object大小、存储类型、最后更新日期和ETag。

      • OSS清单的生成周期不能大于备份周期,以确保每次都能使用OSS清单文件进行备份。

      备份后是否删除清单文件

      备份计划完成后是否删除清单文件。该操作会对Bucket的清单文件进行删除。建议将清单文件放到独立Bucket或选择不删除进行手动管理。

      • 不删除:不删除清单文件。如果有其他应用程序访问该OSS清单文件,建议配置该选项。

      • 删除当前:删除本次备份任务中使用的清单文件。

      • 删除所有:备份完成之后删除所有这次备份之前生成的清单文件。如果没有其他应用程序访问该OSS清单文件,建议配置该选项。

    备份计划创建完成后,备份计划的状态为计划中云备份将按照指定的备份起始时间、备份执行间隔进行OSS备份任务。

备份成功

当达到备份执行时间时,云备份就会启动执行备份任务。当备份任务状态为成功时,表示当天备份完成。image.png

您可以在备份历史中看到每次备份记录。后续,您可以根据这些历史备份进行文件恢复。更多操作,请参见创建OSS恢复任务image.png

错误处理

当备份计划或备份任务状态异常时,您可以参考以下建议进行处理。

  • 备份任务的状态失败(OSS Bucket 不存在)

    该OSS Bucket已经被删除。

    • 如果删除OSS Bucket属于正常操作,请无需关注备份任务状态。为避免产生额外备份存储容量费用,建议您在左侧导航栏,单击存储库管理,找到对应存储库进行删除。

    • 如果删除OSS Bucket属于误操作,您想恢复该OSS Bucket。请在对应地域创建一个OSS Bucket,将该OSS Bucket作为恢复目的地,即可完成OSS文件恢复。具体操作,请参见创建OSS恢复任务image.png

  • 备份任务的状态失败没有可以使用的OSS清单文件。请等待下次备份,下次备份会自动检测并使用最新清单文件。

    在您指定的目录(前缀Prefix)下,没有找到对应OSS清单文件。请前往OSS控制台,查看Bucket清单文件是否已经创建。

  • 备份计划的状态暂停

    该备份计划已经被暂停。暂停后,云备份不再继续进行OSS Bucket备份保护。建议您尽快启用备份计划。

浏览和下载备份文件

  • 浏览备份文件

    通过浏览功能,您可以浏览已经备份的文件。

    1. 备份计划页签,找到目标OSS,在操作列单击备份历史

    2. 备份历史中,找到对应时间点的备份点,单击浏览

    image

  • 下载备份文件

    不支持直接下载已备份文件。您可以通过恢复到一个指定的临时OSS路径(恢复不收费),然后在OSS侧间接实现文件下载。

支持跨地域备份

为避免地域性灾害对业务连续性的影响,云备份支持为通用备份库创建异地镜像备份库,备份库中的数据将会自动复制到镜像备份库中,实现跨地域异地备份。保存OSS文件的通用备份库,支持创建异地镜像备份库。具体操作,请参见跨地域备份

您通过备份ECS文件备份SAP HANA备份阿里云NAS文件备份本地NAS文件备份本地文件等功能创建的通用备份库,都支持创建异地镜像备份库,同时也支持跨账号备份自动归档使用KMS加密开启备份锁定等企业级功能。

相关操作

您还可以在备份计划页签的操作列进行如下相关操作。

操作

说明

备份历史

您可以查看该OSS Bucket最近3个月或者所有的备份历史。

立即执行

立即开始执行备份计划。

编辑

已创建的OSS备份计划不满足预期,您可以修改OSS备份计划。

暂停计划

暂停执行中的备份计划。

继续计划

将处于暂停状态的备份计划再次启动。

删除计划

删除执行中的备份计划。备份计划删除后,该备份计划不会继续执行,但仍保留已备份的数据。

报警设置

在备份失败或与服务器连接断开时,云备份默认通过报警设置的方式发送报警。更多信息,请参见为本地文件备份设置报警

后续步骤

创建OSS恢复任务

相关文档

  • 备份OSS文件

  • 云备份提供各备份场景下资源包,可以享受更大的价格优惠,帮助您更大程度节省支出。更多信息,请参见资源包购买指南

  • 云备份数据同步功能支持将源端的海量OSS文件同步至目的端。更多信息,请参见数据同步功能概览