Openstore存储计算分离是阿里云Elasticsearch基于共享存储架构自研的检索引擎,通过将数据存储与计算节点分离,解决了传统多副本架构存储成本高、因数据迁移导致节点扩缩容慢的问题。它在保证数据高可用的前提下,实现资源的快速弹性伸缩并降低存储成本,适用于通用或检索场景。
背景信息
在检索场景下,为了查询的高性能和高可用,通常需要设置多副本,这会带来多倍的写入和存储开销。同时在业务流量波动情况下,因需要shard数据搬迁,无法快速进行扩缩节点,需要预留较多计算资源,存在的资一定的源浪费。
OpenStore存储计算分离(高性能检索)引擎是阿里云Elasticsearch 7.10内核增强版的重要功能,您可以按需创建7.10内核增强版实例,开启Openstore存储计算分离(高性能检索场景)。
功能优势
海量存储弹性扩展:基于共享存储架构,可快速扩容远端存储空间,无缝满足业务增长需求。
超低成本与高性能:
实时支持数据写入与更新,无需配置复杂索引生命周期策略,数据自动下沉至远端共享存储,使用门槛极低。
单副本场景下:存储成本较ESSD云盘降低40%+,写入性能提升40%。
多副本场景下:副本数越多,存储成本节省越显著。
适用范围
地域和开通方式:目前仅支持白名单用户,并在华东1(杭州可用区J、K)、中国(香港可用区B、C、D)地域提供。
实例版本:仅支持 7.10 版本内核增强版实例。
实例规格:最低规格2core8G、最小数据节点数4。
实例存储容量:数据单节点本地缓存存储空间最小50GB、总逻辑共享存储空间最小160GB。
付费模式:仅支持包年包月。
数据写入:Openstore默认设置共享存储空间使用率95%为写入阈值,当主分片(primary shard)索引数据达到此阈值时,系统将自动阻止新数据写入(block writes),避免存储溢出导致集群故障。可通过以下API可临时提高写入阈值至98%,为存储扩容争取缓冲时间:
PUT _cluster/settings { "persistent": { "apack.openstore.quota.limit.ratio": "98%" } }说明写入参数refresh=wait_for,imediately暂时不支持。
相关指标
指标
数据
访问延迟(本地缓存命中)
0.2ms
访问延迟(本地缓存未命中)
1ms
访问吞吐(本地缓存未命中)
最大350MB/s
(ESSD PL1性能,和磁盘大小相关,请参考ESSD云盘)
访问吞吐(本地缓存未命中)
实际机型带宽相关,请参考计算型实例规格族c8i
适用场景
实时报表、在线计算、实时搜索等低延迟访问数据