随着互联网业务的发展,越来越多的业务对于数据的吞吐量有了更高的要求。为此,对象存储OSS推出加速器功能,可以缓存OSS中的热点文件(Object),提供高性能、高吞吐量的数据访问服务。

使用场景

OSS加速器适用于基因训练、机器学习、数据湖、大数据计算等需要大量带宽,且数据重复读的场景。例如OSS结合大数据计算场景中,读取数据需要的带宽可能会高达数百Gbps~Tbps,普通存储空间的吞吐量往往无法轻松应对这种大带宽的读取需求。您可以开启OSS加速器,将需要重复读取的数据缓存在加速器中。当大数据计算向OSS加速器请求数据时,加速器根据空间大小提供1.6 Gbps/TB的带宽,可满足大数据计算的带宽要求。

功能优势

  • 吞吐能力

    加速器的吞吐能力显著提升,带宽随容量大小线性增长,能有效解决多种应用场景的读吞吐的挑战。

  • 弹性伸缩

    计算任务通常是周期性任务,每个任务所需资源存在差异。加速器可根据您的需求进行在线扩容或缩容,可有效避免资源浪费,降低您的使用成本。

  • 存算分离

    加速器可满足计算资源和存储资源分离。面对不同的计算任务,您无需再自建不同缓存进行匹配,满足多业务场景的吞吐加速。

  • 数据一致

    加速器提供了传统缓存方案不具备的数据一致性。当OSS上的文件被更新时,加速器能自动识别并缓存最新文件,以确保计算引擎读取的都是最新数据。

使用流程

加速器创建完成后会拥有一个地域专属的加速域名。例如华东2(上海)地域的加速域名为http://oss-cache-cn-shanghai-g.aliyuncs.com。当您与加速器在同一专有网络VPC时,您可以通过加速域名访问加速器内的资源,流程如下图所示:加速器
流程说明如下:
  • 写请求

    未开启同步预热时,客户端向加速域名发送的写请求会直接转发至OSS Bucket,流程与使用OSS默认域名一致。

    开启同步预热后,客户端向加速域名发送的写请求会直接转发至OSS Bucket和OSS加速器。

  • 读请求
    1. 客户端向加速域名发送的读请求会被转发给OSS加速器。
    2. 加速器在收到读请求后会在缓存空间内查找目标文件:
      • 若缓存空间存在目标文件,则文件直接返回给客户端。
      • 若缓存空间没有目标文件,加速器会向绑定的OSS请求目标文件。OSS在收到请求后,会将目标文件缓存到加速器中,加速器将文件返回给客户端。

        对于未缓存的文件,加速器根据自身容量提供320 Mbps/TB的回源带宽。

注意事项

  • 加速器功能目前仅在华东1(杭州)、华东2(上海)、华南1(深圳)、华北2(北京)地域公测,请联系技术支持申请使用。
  • 加速器支持在线扩容和缩容。在线扩容约1分钟完成,在线缩容约1小时完成。
  • 当加速器缓存已满后,OSS会根据缓存文件的热度将低热度的文件替换为高热度文件。
  • 一个加速器可配置的Bucket数量无限制,每个Bucket最多可配置10条加速路径。

设置加速器

  1. 创建加速器。
    1. 登录OSS管理控制台
    2. 在左侧导航栏,单击OSS加速器,然后单击创建OSS加速器
    3. 创建OSS加速器面板设置加速器参数。
      参数 说明
      OSS加速器名称 设置加速器的名称。长度必须在3~63字符之间。
      可用区 选择加速器可用区。
      加速域名 用于访问加速器的加速域名。
      加速器容量 设置加速器的缓存大小,单位TB。

      填写的数值必须大于或者等于20,且是5的整数倍。

      吞吐能力 显示加速器当前的吞吐能力。

      吞吐能力=加速器容量 (TB) ×200 MBps/TB

    4. 单击确定
  2. 设置加速策略。
    1. 单击目标加速器右侧的设置加速路径
    2. 设置加速路径面板配置如下参数:
      参数 说明
      Bucket名称 选择加速器对应的目标Bucket。
      注意 如果目标Bucket此前已被其他加速器加速,此操作会覆写已有的配置。
      加速策略 选择加速器的策略:
      • 指定路径加速:指定文件目录访问路径,最多可添加10条。指定后,加速器将只加速指定目录下的文件。例如您需要加速根目录下example目录的文件,则填写example/
      • 加速整个Bucket:加速Bucket内所有文件。
      缓存策略 选中同步预热。此时,通过PutObject或者AppendObject方式向OSS写入数据时,数据会同时写入OSS Bucket以及OSS加速器。
    3. 单击保存
      您还可以单击新增,按如上配置步骤新增多个使用加速器的目标Bucket。

修改加速器容量

您可以通过以下步骤对加速器进行扩容或缩容。

  1. OSS加速器页面单击目标加速器右侧的编辑
  2. 修改OSS加速器面板,修改加速器容量
    加速器扩容或缩容的值必须是5的整数倍,且加速器的最低容量不得低于20 TB。扩容约1分钟完成,缩容约1小时完成。
  3. 单击确定