如何选择阿里云存储服务
本文从了解存储服务、选型的诸多考虑维度、各种存储服务的优势及使用场景等方面向您完整阐述如何选择合适的阿里云存储服务。
介绍
阿里云提供了一系列低成本、高可靠、高可用的存储服务,用于存储、访问、保护和分析您的数据。存储服务的选型合适与否,会直接影响到系统性能及稳定性等。但做出最佳选择,需要您对自己的业务系统的存储需求非常清楚,同时对阿里云众多存储产品有全面的了解,并结合服务形态、业务发展、成本预算等维度进行综合考虑。
这篇决策指南将引导您了解阿里云的存储服务及在选型过程中需要考虑的关键因素,帮助您更好地选择和使用合适的存储服务。
了解存储服务
数据是系统服务、数据分析以及机器学习的基石。一个卓越云架构,为了达到最佳的性能状态,可能会同时使用多种存储服务。
技术人员在大多数情况下,会根据已有、或者自己熟悉的存储方案来选择合适的云存储服务。这样更容易实现数据迁移。
例如阿里云提供的这些存储服务,或许是您原本熟悉或正在使用的存储方案:
文件存储 NAS:跟NAS设备一样,支持NFS和SMB协议文件系统,兼容POSIX标准,可根据操作系统(Linux/Unix、Windows)选择合适的文件协议。
文件存储 HDFS:完全兼容标准HDFS协议接口,使您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用的分布式文件系统。
选型考虑
如果您正在考虑选择使用哪一款阿里云存储服务,可能是因为您需将应用迁移上云,或在云上开发新应用。在迁移上云的场景下,对迁移源头、使用场景、数据类型和可用网络资源的了解和分析非常重要。
在作出最终选择之前,建议您先从以下维度进行考虑:
存储协议
阿里云的存储服务支持多种主流的存储协议,协议及支持的云产品如下表所示。
协议类型 | 支持的产品 |
iSCSI协议 | 块存储、云存储网关 |
NFS协议 | 文件存储NAS、文件存储CPFS、云存储网关 |
SMB协议 | 文件存储NAS、云存储网关 |
HTTP/HTTPS协议 | 对象存储、表格存储 |
HDFS协议 | 文件存储HDFS |
DBFS协议 | 数据库文件存储DBFS |
您可根据需要的协议选择存储服务。
数据共享
不同的数据可能会以不同的方式在不同的地方被使用,有的只需要在任意一台机器上进行分析处理即可,有的则需要在多台终端机器之间进行共享,有的甚至需要进行大范围的内容分发,您可根据不同的业务场景进行选择。
共享方式 | 支持的产品 |
无需共享 | 块存储EBS |
多台机器共享 | 文件存储NAS、文件存储CPFS、文件存储HDFS、数据库文件存储DBFS |
大范围分发 | 对象存储OSS、表格存储TableStore |
块存储EBS是裸磁盘,挂载到ECS后,通常无法进行共享读取。
文件存储NAS可由上万个ECS或容器通过POSIX标准并发读取相同文件。
OSS可由数百万个客户端通过SDK、RESTful API并发读取文件。
性能
性能是在存储服务选型时需要重点关注的因素,如IOPS、延迟、吞吐量等。您可以参考如下方法对业务进行评估:
您的业务是否对数据延时敏感?可接受的范围是秒级、毫秒级或者微秒级?
您的业务访问数据的频率是否很高?每秒几百次或者每秒上万次甚至更高?
您的业务场景涉及大文件多还是小文件多?
您的业务数据是重读还是重写?
机器的性能通常需要与之匹配的存储性能,才能发挥出最佳效果。除了单个云产品自身的性能外,您还可以通过产品之间的组合实现更好的性能效果,如使用云存储网关+OSS组合,可以将OSS的对象结构和NAS文件系统的目录/文件建立映射关系,让您在享受OSS Bucket海量空间的同时,还能享受高性能的数据访问体验。
数据量
数据量是在存储服务选型过程中的一个重要因素。如果您管理的是一个现有的、运行中的业务系统,那么您对数据量是有明确认识的。但是如果是一个发展中的业务,未来业务发展情况及可能带来的数量增长往往存在不确定性,过于乐观地评估数据有可能会导致选型方案的失误,甚至提升系统重构的风险。所以建议您选择没有容量限制或者业务数据几乎不会超出容量上限的存储服务。同时您还需要考虑如下问题:
数据是否需要被滚动删除?
是否有审计合规保留的要求?
对象存储OSS提供无限容量、具备弹性扩展的存储能力,文件存储NAS可以提供GB~PB级别、块存储容量通常提供GB~TB级别数据存储能力。值得一提的是,使用OSS-HDFS服务,您可以像在原生HDFS中那样管理和访问数据。
迁移/风险
如果您是将线下数据迁移上云,业务数据已经按照一定的数据格式放在了某个存储介质上。此时进行存储服务选型需要考虑的通常是兼容性。同时您可能还需要考虑如下因素:
数据传输:是否有现成的数据上云工具,如果没有,该如何进行数据迁移?
系统改造成本:选择不同的存储服务,当前应用程序在存储方面需要多少改造?
数据管理和生命周期:当前数据是怎么进行管理的,迁移到云上之后,是否可以直接利用云服务的功能自动化完成这些任务,如多版本、生命周期的管控策略,跨地域的复制。
安全合规:确保在迁移过程中的数据安全。通过合适的安全手段,如加密和权限控制来确保传输过程中的数据安全。
成本优化:注意在迁移过程中可能产生的任何费用。如:存储费用、数据传输费用、或者其他附加服务。
请充分评估数据迁移方案和迁移过程中数据安全,以尽可能降低数据上云的阻碍,最大化上云的价值。
备份/数据保护
数据的高可用、高可靠是非常重要的。
块存储EBS的本地盘存储在单台物理机,数据可靠性取决于物理机的可靠性,存在单点故障风险。不建议在本地盘上存储需要长期保存的业务数据。
块存储EBS的云盘三副本技术通过分布式文件系统为云服务器ECS提供稳定、高效、可靠的数据随机访问能力,为ECS实例实现最高可达99.9999999%的数据可靠性保证。
文件存储NAS采用单可用区数据存储机制,将用户的数据在后端进行多副本存储,每份数据都会存储在同一个可用区内多个不同的设备上,并提供最高可达99.999999999%(11个9)的数据持久性和99.5%的服务可用性。
OSS采用多重冗余架构设计,数据设计持久性最高可达99.9999999999%(12个9),数据可用性最高可达99.995%。
除了阿里云提供的数据可用性保障外,您也可以结合云备份HBR主动对本地盘进行定期备份。此外,数据持久性无法解决误删除数据的场景,也建议使用云备份定期备份您的数据。
成本
除了基本的存储费用,数据传输、数据备份等都会影响到整体的存储成本。您可以参考如下方案进行成本优化:
根据业务的实际需要选择存储服务。
根据数据的实际使用频率选择合适的存储类型,如OSS可选择标准存储、低频冷存储等。
可以结合账单进行综合分析。
您也需要避免因为仅追求较低的存储成本而选择了一个不合适或未经过充分评估的存储服务,以免造成潜在的计算资源浪费、数据安全风险、系统改造风险、审计合规风险等。建议您在进行存储技术选型时使用价格计算器评估各种存储服务在未来一段确定的周期内所需要的存储费用,并结合风险成本进行综合评估。
选择服务
如下表格根据常见的业务场景罗列了存储服务选型建议。
存储类型 | 应用场景 | 存储服务或工具 |
块存储 | 适用于OLTP数据库、NoSQL数据库等IO密集型的高性能、低时延业务场景。 | |
文件存储 | 主要应用于科学计算、容器数据持久化和企业在线生产应用的数据存储。如:AI计算、基因计算、药物计算、容器共享PV、日志数据持久化、CI/CD平台、云桌面数据文件共享等。 | |
对象存储 | 主要应用于基于对象API开发的互联网应用程序的数据存储。如:互联网业务的音视频存储、什么是OSS-HDFS服务、云相册、个人/企业网盘类应用。 |
除了选择存储服务,您还需要确定使用何种方式进行数据迁移。阿里云根据业务数据是否需要实时在线或支持离线提供了不同的迁移方案。迁移前,有两个关键考虑因素:
迁移速度:如果数据经常变化并且时间敏感度很高,请选择在线迁移方案。 如果是一次性的,并且数据的时间敏感度不高,可以选择离线方案。
带宽:当网络无法打通,或者数据量特别大,基于现有的网络带宽很难在短时间内将数据上云,可以选择离线迁移方案。
迁移方案 | 时间敏感度 | 更新频率 | 存储服务或工具 |
在线 | 高 | 高 | |
离线 | 低 | 低 |
使用
经过多维度的评估,您已经清楚如何根据现有业务数据要求进行存储服务选型。为了让您能够更加快速地学习和了解存储产品,我们为每个产品提供了学习路径。
分类 | 产品名称 | 学习路径 |
块存储 | 块存储EBS | |
文件存储 | 文件存储NAS | |
文件存储CPFS | ||
文件存储HDFS | ||
OSS-HDFS | ||
文件存储DBFS | ||
文件存储CSG | ||
对象存储 | 对象存储OSS | |
存储服务 | 日志服务 | |
表格存储 | ||
网盘与相册服务 |