随着互联网业务的发展,越来越多的业务对于数据的吞吐量有了更高的要求。为此,对象存储OSS推出加速器功能,可以缓存OSS中的热点文件(Object),提供高性能、高吞吐量的数据访问服务。
使用场景
OSS加速器适用于基因训练、机器学习、数据湖、大数据计算等需要大量带宽,且数据重复读的场景。例如OSS结合大数据计算场景中,读取数据需要的带宽可能会高达数百Gbps~Tbps,普通存储空间的吞吐量往往无法轻松应对这种大带宽的读取需求。您可以开启OSS加速器,将需要重复读取的数据缓存在加速器中。当大数据计算向OSS加速器请求数据时,加速器根据空间大小提供1.6 Gbps/TB的带宽,可满足大数据计算的带宽要求。
功能优势
- 吞吐能力
加速器的吞吐能力显著提升,带宽随容量大小线性增长,能有效解决多种应用场景的读吞吐的挑战。
- 弹性伸缩
计算任务通常是周期性任务,每个任务所需资源存在差异。加速器可根据您的需求进行在线扩容或缩容,可有效避免资源浪费,降低您的使用成本。
- 存算分离
加速器可满足计算资源和存储资源分离。面对不同的计算任务,您无需再自建不同缓存进行匹配,满足多业务场景的吞吐加速。
- 数据一致
加速器提供了传统缓存方案不具备的数据一致性。当OSS上的文件被更新时,加速器能自动识别并缓存最新文件,以确保计算引擎读取的都是最新数据。
使用流程
加速器创建完成后会拥有一个地域专属的加速域名。例如华东2(上海)地域的加速域名为
http://oss-cache-cn-shanghai-g.aliyuncs.com
。当您与加速器在同一专有网络VPC时,您可以通过加速域名访问加速器内的资源,流程如下图所示:
流程说明如下:
- 写请求
未开启同步预热时,客户端向加速域名发送的写请求会直接转发至OSS Bucket,流程与使用OSS默认域名一致。
开启同步预热后,客户端向加速域名发送的写请求会直接转发至OSS Bucket和OSS加速器。
- 读请求
- 客户端向加速域名发送的读请求会被转发给OSS加速器。
- 加速器在收到读请求后会在缓存空间内查找目标文件:
- 若缓存空间存在目标文件,则文件直接返回给客户端。
- 若缓存空间没有目标文件,加速器会向绑定的OSS请求目标文件。OSS在收到请求后,会将目标文件缓存到加速器中,加速器将文件返回给客户端。
对于未缓存的文件,加速器根据自身容量提供320 Mbps/TB的回源带宽。
注意事项
- 加速器功能目前仅在华东1(杭州)、华东2(上海)、华南1(深圳)、华北2(北京)地域公测,请联系技术支持申请使用。
- 加速器支持在线扩容和缩容。在线扩容约1分钟完成,在线缩容约1小时完成。
- 当加速器缓存已满后,OSS会根据缓存文件的热度将低热度的文件替换为高热度文件。
- 一个加速器可配置的Bucket数量无限制,每个Bucket最多可配置10条加速路径。
设置加速器
- 创建加速器。
- 设置加速策略。
修改加速器容量
您可以通过以下步骤对加速器进行扩容或缩容。