本文介绍某互联网企业架设在某云计算服务上的业务无缝迁移至阿里云OSS的案例。

背景信息

客户A为某互联网服务公司,主要业务架设于某云计算服务提供商B处,为其用户提供图片、视频等在线编辑服务。客户A存储在B处的历史数据约有1亿个文件,共320 TB左右大小,每天新增约20 GB数据,B处的数据存储服务和OSS的访问带宽均为250 MByte/s,业务所需带宽最高为50 MByte/s。

现因公司发展需要,考虑将业务切换至OSS上。切换时需将原始数据及新增的数据迁移至OSS,因历史数据较多,为保证公司业务正常进行,此次业务切换需做到如下要求。
  • 迁移中,需保证业务的正常进行,不能影响其用户正常读取数据。
  • 迁移完成后,需保证数据完整,业务可无缝切换。

迁移方案

根据客户需求及背景信息,制定了如下迁移方案。
  1. 通过阿里云在线迁移服务将客户的存量数据从云服务迁移到OSS,迁移完成前,客户业务不做变动。
  2. 存量数据迁移完成后,通过OSS的镜像回源功能让用户可以访问到暂时未迁移至OSS的增量数据。
  3. 客户将业务切换至OSS。
  4. 业务切换完成后,通过在线迁移服务将用户的增量数据也迁移至OSS。
  5. 数据全部迁移完成并检查无误后,删除源端数据。

步骤一:迁移存量数据

  1. 创建用于存储迁移数据的OSS Bucket。具体操作,请参见创建存储空间
  2. 创建用于迁移的子账号AccessKey。
    • 获取B存储服务子账号的AccessKey:登录原云服务控制台获取访问密钥(AccessKey)。
    • 获取阿里云OSS RAM用户的AccessKey:具体操作,请参见创建RAM子账号并授予相关权限
  3. 创建数据地址并创建全量迁移任务。具体操作,请参见在线迁移服务对应教程的迁移实施文档。
    其中迁移任务的任务配置如下所示。任务配置
    性能调优配置如下所示。性能调优
  4. 迁移完成后,需通过查看迁移报告,并对比源地址和目的地址的数据,确认数据已经迁移完成。
    说明 如果出现文件迁移失败的情况,请参见迁移失败常见问题及解决方案解决。

步骤二:配置镜像回源

迁移存量数据用时约25天,数据迁移过程中,源站还在不断产生新的数据。为了不中断业务,做到业务无缝切换,还需要配置镜像回源功能。当用户请求的文件在OSS中没有找到时,OSS会自动到源站抓取对应文件保存到OSS,并将内容直接返回给用户。

  1. 登录OSS管理控制台
  2. 在存储空间列表内,单击存放迁移数据的存储空间。
  3. 单击存储设置,之后单击镜像回源区域的设置
  4. 单击创建规则,在弹出的创建规则对话框填写回源信息。
    创建规则
    • 回源类型:选择镜像
    • 回源条件:默认选择HTTP状态码404,根据需求选择是否配置文件名前缀
    • 回源地址:填写原云服务访问地址信息。
    • 更多参数设置请参见设置回源规则
    说明 镜像回源可以配置5条,5条规则同时生效。如果有多个资源,可以配置多条镜像回源策略,通过设置不同的文件名前缀回源不同的数据。
  5. 单击确定,完成配置。

步骤三:业务切换至OSS

客户在业务服务器上将数据读取的源地址切换至OSS。

步骤四:迁移增量数据

迁移存量数据期间,源端产生了约100000个,共500 GB左右大小的文件,还需要将这部分增量数据迁移到OSS。

  1. 根据步骤一:迁移存量数据的创建迁移任务重新创建一个增量迁移任务。

    其中迁移任务的任务配置如下所示。

    任务配置性能调优配置如下所示。性能调优
  2. 单击创建,开始执行迁移任务。
  3. 迁移完成后,需通过查看迁移报告,并对比源地址和目的地址的数据,确认数据已经迁移完成。
    说明 如果出现文件迁移失败的情况,请参见迁移失败常见问题及解决方案解决。

步骤五:删除源端数据

所有数据迁移完成后,为防止源端继续产生存储费用,可通过生命周期管理,将Object生命周期设置为1天,1天后将删除所有数据。