结合镜像回源将业务无缝迁移至阿里云OSS

更新时间:

本文介绍了某互联网企业在某云计算服务上架设的业务使用在线迁移服务和镜像回源无缝迁移至阿里云OSS的案例。

背景信息

客户A为一家互联网服务公司,其主要业务依托于云计算服务提供商B,为用户提供图片、视频等在线编辑服务。客户AB处存储的历史数据约为1亿个文件,总大小约为320 TB,每天新增数据约为20 GB。OSS的访问带宽为250 MB/s,而业务所需的最高带宽为50 MB/s。

鉴于公司发展需要,现考虑将业务切换至OSS平台。在切换过程中,需将原始数据及新增数据迁移至OSS。鉴于历史数据量较大,为确保公司业务的正常运作,此次业务切换必须满足以下要求:

  • 迁移中,需保证业务的正常进行,不能影响其用户正常读取数据。

  • 迁移完成后,需保证数据完整,业务可无缝切换。

迁移方案

根据客户需求及背景信息,制定了如下迁移方案:

  1. 通过阿里云在线迁移服务将客户的存量数据从云服务迁移到OSS,迁移完成前,客户业务不做变动。

  2. 存量数据迁移完成后,通过OSS的镜像回源功能让用户可以访问到暂时未迁移至OSS的增量数据。

  3. 客户将业务切换至OSS。

  4. 业务切换完成后,通过在线迁移服务将用户的增量数据迁移至OSS。

  5. 数据全部迁移完成并检查无误后,删除源端数据。

步骤一:迁移存量数据

  1. 创建迁移任务迁移存量数据。

    a. 创建用于存储迁移数据的OSS Bucket。具体操作,请参见创建存储空间

    b. 创建数据地址并创建全量迁移任务。具体操作,请参见迁移教程中对应教程的迁移实施文档。

    重要

    迁移任务的覆盖模式选择根据最后修改时间覆盖。 在后续再次启动迁移时,将仅迁移增量数据。

  2. 迁移完成后,可通过查看迁移报告,对比源地址和目的地址的数据,确认数据已经迁移完成。

步骤二:配置镜像回源

迁移存量数据用时约25天,数据迁移过程中,源站还在不断产生新的数据。为了不中断业务,做到业务无缝切换,还需要配置镜像回源功能。当用户请求的文件在OSS中没有找到时,OSS会自动到源站抓取对应文件保存到OSS,并将内容直接返回给用户。

  1. 登录OSS管理控制台

  2. 在左侧导航栏单击Bucket列表

  3. Bucket列表页面单击需要配置镜像回源的Bucket名称。

  4. 在左侧导航栏选择基础设置 > 镜像回源,在镜像回源区域单击设置

  5. 单击创建规则,在弹出的创建规则面板填写回源信息。

    创建规则

    • 回源类型:选择镜像

    • 回源条件:默认选择HTTP状态码404,根据需求选择是否配置文件名前缀文件名后缀

    • 回源地址:填写原云服务访问地址信息。

    • 更多参数设置,请参见设置回源规则

    说明

    镜像回源可以配置5条,5条规则同时生效。如果有多个资源,可以配置多条镜像回源规则,通过设置不同的文件名前缀回源不同的数据。

  6. 单击确定,完成配置。

步骤三:业务切换至OSS

客户将业务服务器上的读写数据源地址切换至OSS,此时,原数据地址将不再产生增量数据。

步骤四:迁移增量数据

迁移存量数据期间,源端产生了约100,000个,共500 GB左右大小的文件,还需要将这部分增量数据迁移到OSS。

  1. 再次启动迁移任务,将对源端文件进行全量扫描,并根据最后修改时间将增量文件迁移至目的端。

  2. 迁移完成后,需通过查看迁移报告,对比源地址和目的地址的数据,确认数据已经迁移完成。