OpenStore存储引擎是阿里云Elasticsearch团队针对日志场景自研的弹性、高效、低成本的日志存储引擎,支持根据实际存储数据量按量计费,无须提前预留集群存储容量,真正做到存储Serverless。OpenStore存储支持自定义冷热存储版本与智能混合存储版本。本文主要介绍OpenStore自定义冷热存储引擎的适用场景、架构、优势以及性能指标。
OpenStore自定义冷热存储不再支持新购,如果您需要使用OpenStore存储,请开启Openstore智能混合存储。详细信息,请参见OpenStore智能存储引擎介绍。
背景信息
在日志全观测场景下,通常因为业务场景或监管需求,需要长时间存储数据或归档审计。在使用开源Elasticsearch的过程中,需要进行集群冷热数据分离,将30天或者更长时间的数据通过集群快照的方式存储在其他存储介质上,例如对象存储OSS等。该方式虽然能够实现长期日志数据归档,但是存储后不能直接进行查询,查询前需要调用相关API把快照信息恢复到集群中,等待快照中的索引初始化完成后再进行查询,面临着查询复杂度大、长时间存储成本高的问题。
OpenStore存储引擎是阿里云Elasticsearch 7.10内核增强版的重要功能,结合Indexing Service写入托管服务,满足用户在日志场景下低成本的高并发写入及长期数据存储需求。您可以按需创建7.10内核增强版实例,开启OpenStore存储功能。
如果未开启OpenStore,OpenStore存储默认关闭。您可以在实例基本信息页面的节点可视化区域查看是否已开启OpenStore功能、开启OpenStore功能并查看OpenStore存储信息,详细信息请参见查看集群状态和节点信息。
开启OpenStore后,建议您在控制台关闭自动快照备份功能,具体操作请参见自动备份与恢复。
适用场景
阿里云Elasticsearch自研Openstore存储引擎,适用于有海量数据写入及长期存储需求,数据查询QPS较低且查询时延容忍度相对较高的日志检索、指标分析等场景。
自定义冷热存储引擎适用于业务有强烈且明确的数据冷热区分。例如一天内的索引必须全部使用热存储,超过一天的索引必须全部使用冷存储。
使用说明
需要单独规划并购买热数据存储空间,冷数据使用OpenStore存储,按小时计算实际用量。价格详情,请参见阿里云ES计费。
需要根据业务需求,由用户配置相应的索引生命周期ILM策略,进行冷热数据分层管理。
根据生命周期策略,进入冷阶段的数据存储在OpenStore存储层,不会根据查询热度自动转变为热数据,冷热数据转换需要修改生命周期或者手工迁移索引数据。
优势
海量存储:存储Serverless付费,无须提前规划及购买存储容量,数据存储按小时统计实际使用量,存储资源使用率达到100%。
低成本:实时可修改、支持写入更新,无须配置复杂索引生命周期,自动完成数据降级,超低使用门槛;数据存储单价相较于使用本地SATA盘存储成本降低了60%,相较于高效云盘降低了70%。
高可用:基于存储计算分离架构,多副本之间共享一份数据,不增加额外存储成本;底层存储服务保证集群的数据高可用,提供99.9999999999%(可达12个9)的数据持久性。
查询性能提升:对于典型日志场景的常用查询分析,性能相较于本地SATA提升了100%,与高效云盘或者PL0级别的ESSD云盘性能相当。
存储架构
使用限制
购买和使用OpenStore存储时,存在以下使用限制。
类别 | 限制说明 |
地域 | 目前仅开放以下地域(具体以控制台为准):
|
实例版本 | 内核增强版7.10版本。 |
实例规格 | 仅支持选择OpenStore存储型16核64 GB规格。 |
实例存储容量 | 单节点最大存储数据容量为30 TB。 说明 如果您有更大的单节点存储需求,请提交工单申请,最大支持50 TB。 |
shard副本数 | 冷数据存储至OpenStore时shard副本数默认为0,数据的可靠性将由底层存储保证。 重要 如果将OpenStore自定义冷热存储的索引副本数设置为1,索引将处于yellow状态,因此不建议手动设置副本,保持默认值即可。 |
索引模板 | 开启OpenStore自定义冷热存储,集群会默认提供模板openstore-index-template,模板默认使用openstore_default_ilm_policy策略。详细信息请参见通过OpenStore自定义冷热存储实现海量数据存储。 说明 手动删除OpenStore存储索引时,需要将索引及索引对应的别名一起删除才可删除成功。 |
索引生命周期配置 | 不支持在索引生命周期中自定义freeze。 |
查询限制 |
|