文档

跨地域灾备

更新时间:

当您需要保证MaxCompute作业持续运行时,MaxCompute提供跨地域(Region)灾备功能,支持以项目(Project)为单位远程备份数据和元数据,确保备份地点与数据源的地理距离超过一百公里,以提升数据安全性。您能够自定义选择备份目标地域,并监控备份进度。当遇到地域级别的故障时,该功能允许您将项目迅速切换到备份集群地域,并利用已备份的数据恢复业务。本文为您介绍跨地域灾备功能说明和使用跨地域灾备功能备份MaxCompute项目。

功能说明

MaxCompute提供便捷的跨地域灾备功能,允许您直接在云端将数据从源集群(主集群)备份至目标集群(备份集群),无需借助外部存储迁移数据。此数据备份持续进行,可以保证重要数据在另一个地域也存在一份备份。同时MaxCompute统一元数据能力支持元数据跨地域高可用,则当主集群地域发生故障且无法恢复时,通过修改项目归属地域的元数据,将项目快速切换到备份集群地域,实现业务的无缝恢复,示意图如下所示。

重要

目前跨地域灾备功能处于邀测阶段,如需使用此功能,请单击申请开通,在新功能试用申请页面申请开通使用跨地域灾备功能。新功能试用申请详情,请参见新功能试用申请

image

MaxCompute控制集群和元数据实现了跨地域(Region)高可用,不会因为某个地域故障而停止服务。如上图所示,将北京地域的项目配置为灾备项目,备份目标地域选择上海地域,即选择了一条北京地域至上海地域的复制链路,跨地域复制功能开始从北京地域集群(主集群)向上海地域集群(备份集群)同步数据。备份顺序由系统自动识别所有未备份的数据最新版本,并启动并行任务进行备份,备份完成时间主要由待备份数量和跨地域数据传输带宽决定。备份周期受跨地域复制的自动调度策略控制,不保证备份数据的每个增量版本,而是在每次备份启动时复制用户数据的最新版本。

如果主集群发生灾难后,经阿里云确认主集群不可恢复,会开放将项目切换到备份集群所在地域的按钮,您可以根据业务需求选择是否切换集群。切换结果为项目的默认集群从原来的主集群改为备份集群,以备份集群切换时的最新数据版本为可见可用版本。

重要

因为灾难无法预测,备份非实时,不支持时间点恢复(PiTR),所以切换可能会有数据丢失,您需要谨慎操作。如果您需要演练切换功能,可以通过工单、您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)申请打开开关,同时建议您使用测试项目验证切换功能。

使用限制

  • 仅内部项目(即项目管理项目类型managed的项目)支持跨地域灾备。

  • 目前仅华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)地域支持跨地域灾备功能。

  • 单个项目的数据仅支持备份到一个目标地域。

  • 仅支持普通表、Transactional1.0表、物化视图等数据的备份,暂不支持Transactional2.0表和Resource备份。

  • 不支持将已备份数据从备份集群回写到主集群。

注意事项

  • 您需要在目标集群地域开通MaxCompute,即开通后付费(按量付费)资源或购买预付费(包年包月)资源。如果未开通MaxCompute,目标地域不可选,开通MaxCompute请参见开通MaxCompute

  • 复制链路由MaxCompute提供,MaxCompute会保证项目可以备份到多个地域;此外,您也可以选择将所有项目都备份到同一个地域;以及在任何时候将新创建的项目数据备份到已经存在备份的任何其他地域,如果有链路不可见或报错,可以通过工单、您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

  • 增量数据的定义是文件的元数据版本是否发生变化,如果在主集群进行了覆写、合并小文件、删除数据等操作,就会产生新的版本,跨地域复制会将最新数据同步到备份集群。

  • 备份是文件粒度,即跨地域复制尽量保证每个文件是最新版本,但不保证整个项目所有数据在某个时刻的快照版本同时备份,即不支持时间点恢复(PiTR)。因此备份任务调度决定了文件级别恢复点目标(RPO)小于等于1天,您需要考虑不支持PiTR带来的数据版本时间对齐问题。

  • 如果您的项目使用预付费资源,集群切换后默认都会切换到后付费资源。后续可以在备份集群地域购买预付费资源,修改项目默认计算Quota为新购买的预付费Quota。

    说明

    当前大量灾备项目迁移涌入备份集群的时候,MaxCompute可以保证项目切换到备份集群有计算资源使用,也会补充计算资源,但不能保证性能不受影响。如果您对计算资源性能有非常高的要求,可以在目标地域购买预付费计算资源,集群切换后修改项目默认计算Quota为新购买的预付费Quota。

  • 项目的集群切换后,您需要将对接MaxCompute的周边产品或应用连接的Endpoint切换为目标地域的Endpoint才可以正常访问切换后的项目,否则使用跨地域的Endpoint连接项目可能会有连接稳定性或性能问题。

  • 如果在备份集群恢复生产,并且切换之前的项目关联了DataWorks、OSS等周边配套产品,则这些产品都需要在目标地域开通,然后将迁移后的项目以新项目的方式在目标地域与周边产品重新绑定或配置外部表才可以使用。例如您需要在迁移后的地域新建DataWorks工作空间,使用迁移后地域的Endpoint重新绑定迁移后的MaxCompute项目。因为原地域的DataWorks工作空间即使还可以使用,但其使用原地域的服务角色身份认证或原地域的Endpoint连接已迁移的项目,会产生认证错误或无法连通等问题。如果您在迁移前使用OSS,容灾场景下可能原地域的OSS也无法访问,您需要在迁移后的地域修改MaxCompute外部表配置,指向新地域的OSS Endpoint和文件存储位置。即使原地域OSS还可以使用,也无法保证迁移后的MaxCompute项目可以跨地域读取OSS数据。

    重要

    DataWorks的任务、 OSS的数据等由用户使用这些产品各自的备份功能进行备份或迁移。

计费说明

跨地域灾备功能的付费项为备份数据在备份集群的存储费用和从主集群到备份集群的跨地域流量费用,存储空间没有上限,暂不支持分层存储。

说明

邀测期间,备份集群的存储和跨地域流量都暂不收费,后续正式商业化收费前会提前至少一个月通过文档公告通知。

使用说明

  1. (可选)开通MaxCompute。

    您需要在目标集群地域开通MaxCompute,即开通后付费(按量付费)资源或购买预付费(包年包月)资源,开通MaxCompute请参见开通MaxCompute。如果您已经在目标集群地域购买了按量付费或包年包月资源,则可以跳过此步骤。

  2. 新增跨地域备份项目。

    1. 登录MaxCompute控制台,在左上角选择地域。

    2. 在左侧导航栏,单击灾备管理

    3. 灾备管理页面,单击新增跨地域备份项目

    4. 新增跨地域备份项目对话框中,选择需要备份的项目和备份目标地域。

      如果没有您需要备份的目标地域,可以通过工单、您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系开通。

    5. 单击开始跨地域备份

  3. (可选)切换至备份集群。

    当主集群发生故障后,阿里云确认主集群不可恢复,开放将项目切换到备份集群所在地域的能力,切换按钮可用,由您选择触发切换,操作步骤如下。

    重要

    您需要谨慎操作切换功能。因为备份非实时,不支持PiTR,所以切换可能会有数据丢失。如果切换到目标地域后又要切换回源地域,您需要将项目重新建立备份配置,并全量传输数据,再做一次切换才可以完成迁移。

    1. 灾备管理页面,单击目标项目操作列的切换

    2. 灾备切换对话框,确认切换项目的集群后,单击确定

      切换成功后,在备份集群所在地域的项目管理页面,将可以看到项目。

其他相关操作

删除备份

如果需要取消备份配置,在灾备管理页面,单击目标项目操作列的删除,按照提示输入项目名称再单击确定

重要
  • 删除操作将停止项目从源集群地域到目标集群地域的跨地域数据灾备,同时删除备份集群的备份数据。

  • 您需要谨慎操作删除功能,此操作会立即删除备份集群已复制的数据;如果您要恢复备份,需要重新建立灾备配置,并重新传输全部主集群数据到备份集群。

灾备监控

您可以在灾备管理页面,单击目标项目操作列的监控,查看主集群、备份集群当前已经存储的数据大小和历史累计跨地域复制产生的流量。此信息随跨地域复制任务调度产生,不保证是实时信息,可以表示最多24小时前的信息。

  • 本页导读 (1)
文档反馈