某海外视频网站AWS S3 搬迁至OSS解决方案

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 某网站主体位于AWS,经营视频直播/点播以及其他互联网衍生业务,面向广大的海外手机端客户。目前已经在使用阿里云的VOD SDK,并将主要视频数据存放于S3。现需要将业务从AWS S3迁移至阿里云OSS。

某网站主体位于AWS,经营视频直播/点播以及其他互联网衍生业务,面向广大的海外手机端客户。目前已经在使用阿里云的VOD SDK,并将主要视频数据存放于S3。现需要将业务从AWS S3迁移至阿里云OSS。

背景介绍

随着国际化战役的进展,越来越多的客户有数据迁移的需求,其中S3迁移至OSS的需求非常典型。

特别是对于视频行业,音视频的数据批量迁移必然会形成一个通用需求。其中涉及到VOD的对接和S3的迁移,在业务整体流程上需要比较多的细节整理。

当前客户主要架构参考

客户当前架构

如架构图所示,当前客户在视频上传环节采用了阿里云的VOD SDK,将视频写入阿里云新加坡region的OSS(VOD内嵌),并且在视频进入后通过SQS和Lambda实现数据拷贝,将数据写入S3。

经沟通,为了维持业务侧最大程度的架构稳定,在迁移后采用类似的方案。

迁移后架构迁移后前端业务依然使用VOD的SDK,在视频进入VOD的bucket后,调用MNS和FC,将数据写入阿里云OSS。整个流程需要VOD配合FC共同编写,同时当前VOD直接对接OSS的bucket已经支持,但是由于本项目中,OSS存储与VOD不在同一region无法实施。

迁移步骤:

迁移过程

存储迁移

此阶段将存储在S3上的历史数据迁移到OSS,可以通过在线迁移服务从S3迁移历史数据到OSS。

登录阿里云在线迁移控制台配置需要迁移的S3的bucket和指定的前缀。在线迁移的机制对启动任务之前已经上传到S3的文件会加入到迁移列表,在迁移过程中新上传的文件,可能存在概率不能加入到迁移列表中。使用在线迁移服务,在控制台填写源数据地址和目标 OSS 地址信息,并创建迁移任务。启动迁移后,通过控制台管理迁移任务,查看迁移进度、流量等信息;也可以生成迁移报告,查看迁移文件列表、错误文件列表,全量和增量迁移均需在这里配置。

S3存储迁移配置方法参考 这里:

https://help.aliyun.com/document_detail/94352.h

镜像回源

数据迁移完成后,请在 OSS控制台设置服务Bucket的镜像回源功能,回源地址为第三方S3存储。

参考:

https://help.aliyun.com/document_detail/31865.html?spm=a2c4g.11186623.2.10.30c37a29fjepnV#concept-n34-q1z-5db

这一步的镜像回源规则需要check:

https://help.aliyun.com/document_detail/31906.html?spm=a2c4g.11186623.2.9.9eb9331fVVZXof#concept-ukn-3tf-vdb

要重视视频镜像回源的代码逻辑和参数设置。

同时还要加上S3到阿里云OSS的镜像回源。

注意:若您OSS的Bucket开启CDN加速功能后,在Bucket中修改了Object,使用CDN加速域名访问得到的Object仍是更新前的旧版本,必须在CDN中手动刷新后才能访问到新版本的Object。

这是因为Bucket中的Object更新了,但是CDN中该Object的缓存未到期,所以访问的时候出现异常。您可以开启CDN缓存自动刷新功能。开启此功能后,若Object有更新,OSS会自动刷新CDN上的缓存,从而实现文件更新时缓存自动刷新。具体操作请参见开启CDN缓存自动刷新

应用层改造

客户端改造

该项目中,前端的对接由VOD完成,配合OSS实现存储服务。

阿里云OSS图片处理服务(Image Processing,简称 IMG) ,是阿里云OSS对外提供的海量、安全、低成本、高可靠的图片处理服务。您可以将原始图片上传保存在上,通过简单的 RESTful 接口,在任何时间、任何地点、任何互联网设备上对图片进行处理。图片处理服务提供图片处理接口,图片上传请使用 OSS 上传接口。基于 IMG,您可以搭建出跟图片相关的服务。

迁移后,VOD的代码需要更改,

这快需要对应的代码开发,具体方案如下:

VOD SDK无需修改,VOD触发复制后,逻辑需要更改,数据进入OSS。

新版本使用率达到客户预期后,同时在线服务迁移数据量已经迁移的数据量已经达到客户预期(建议不低于99%),可以打开客户端的OSS开关。

上传切换到OSS过程中,可能会出现一些文件没有存储OSS。

对于访问到不在OSS上的文件,可以使用服务端的同步程序,通过显示方式将S3上的数据复制到OSS。

回归测试

按测试流程,对Web端、Android、iOS、服务器端进行测试。

APP发布

按发版流程,进行业务发布,分步骤更新到使用阿里云。

回滚方案

如需回滚,则将修改的DNS解析记录改回原S3的解析记录即可。

结束工作

确认发布业务完全结束后,经过双方同时确认,删除S3存储和S3 cdn配置。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
存储 运维 监控
阿里云对象存储 OSS 发布全球第一可用性 SLA 背后的技术体系
2020年6月,阿里云对象存储 OSS 通过十年积累的技术红利,将可用性 SLA(Service Level Agreement) 提升 10 倍,做到了全球第一的核心竞争力,是其他的云厂家的 10~20 倍,如下图所示。
1295 0
阿里云对象存储 OSS 发布全球第一可用性 SLA 背后的技术体系
|
存储 API PHP
(转)云存储:阿里云OSS 、又拍云和 七牛 的比较
阿里OSS:好处就是,那是一套完整的体系,存储,数据库,CDN,服务器,阿里都可以给你全包。缺点,费用对于没有盈利的网站来说太高了,好像定位就是给那些高端客户使用的,而且CDN,OSS的流量是分开收费,带宽(2倍成本,呵呵)。
5469 0
|
4月前
|
存储 监控 数据处理
|
存储 Web App开发 容灾
阿里巴巴集团上云之 TFS 迁移 OSS 技术白皮书
1、集团使用阿里云对象存储 OSS 概述双十一在逛淘宝、天猫时最关注的通常是价格,比如这件衣服打几折,那里可以领到红包或优惠券,另外的关注点就是商品。商品图片是给消费者最直观的印象,直接影响店铺商品的销量。那这些海量的图片到底是存储在哪里呢?答案就是阿里云对象存储 OSS。OSS 是阿里集团非结构化数据的统一存储系统,为天猫、淘宝、聚划算、飞猪、饿了么、UC、优酷、小微金服、钉钉、菜鸟、AliEx
707 0
阿里巴巴集团上云之 TFS 迁移 OSS 技术白皮书
|
存储 弹性计算 缓存
OSS云存储管理实践(体验有礼)
阿里云对象存储(Object Storage Service,简称OSS),是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。用户可以通过调用API,在任何应用、任何时间、任
OSS云存储管理实践(体验有礼)
|
存储 缓存 前端开发
又拍云存储自建CDN技术探秘
又拍云存储是一个提供文件快速存储及通过CDN系统快速分发至全国各地访问的综合型服务商,目前主要提供图片和音频文件为主的静态小文件服务。海量小文件存储一直是业界难题,而我们数据中心的存储系统就是一个大型分布式Key/Value数据库,可很好解决小文件的存储问题(业界也有不少开源的分布式存储系统可使用,本文不再详述)。但对于小文件访问依然无法取得很好的性能,尤其是面对海量访问的情况,访问压力呈几何级数增大,对此我们有必要在此基础上加入CDN服务,以降低海量访问对数据中心造成的压力(以我们监控数据分析得到的结果:使用CDN服务可降低98%的压力)。
206 0
|
存储 弹性计算 安全
对象存储 OSS 教育行业最佳实践,稳定且高性价比的存储平台
对象存储 OSS 教育行业最佳实践,稳定且高性价比的存储平台
406 0
|
对象存储
十年沉淀,阿里云发布全球领先的对象存储OSS可用性SLA
阿里云发布全球领先的对象存储OSS可用性SLA
1079 0
十年沉淀,阿里云发布全球领先的对象存储OSS可用性SLA
|
存储 运维 安全
【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新,关注更多内容!
866 0
【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
|
安全 关系型数据库 MySQL
【阿里云新品发布·周刊】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
点击订阅新品发布会! 新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多内容,了解更多 云上存储数据保护2.0发布会 “上云后,数据还安全吗”成为越来越多企业关注的问题。云上数据存储到底安全在哪里,面对不同的数据威胁如何应对,针对不同的数据保护需求又如何满足。
1657 0
【阿里云新品发布·周刊】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会