云原生多模数据库 Lindorm内含宽表引擎、时序引擎、搜索引擎、计算引擎和流引擎,兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS等多种开源标准接口,同时提供SQL查询、时序处理、文本检索分析等能力。
为应对动态变化的业务访问量,各引擎支持独立按需弹性扩展,宽表引擎和时序引擎均提供高并发吞吐能力。
选择引擎类型
不同引擎类型适用不同的场景,可按需选择一种或多种引擎,具体介绍,请参见下表。
引擎类型 | 兼容接口 | 适用场景 | 介绍 |
宽表引擎 | 兼容SQL、HBase API、Cassandra CQL、S3 API | 元数据、订单、账单、画像、社交、feed流、日志、轨迹管理分析等场景。 | 面向海量半结构化、结构化数据设计的分布式宽表引擎,具备全局二级索引、多维检索、动态列、TTL等能力,支持千万级高并发吞吐,支持百PB级存储,吞吐性能是开源HBase的3-7倍,P99时延为开源HBase的1/10,支持冷热分离,压缩率比开源HBase提升一倍,综合存储成本为开源HBase的1/2。内置Ganos时空服务,面向各类空间/时空数据,支持海量历史轨迹查询分析场景。 |
时序引擎 | 提供HTTP API接口,并兼容OpenTSDB API | IoT、监控等场景存储、处理量测数据、设备运行数据等时序数据。 | 面向海量时序数据设计的分布式时序引擎,支持SQL查询。针对时序数据设计的压缩算法,提高压缩率。支持海量多维的时间线查询和时间线聚合,支持降采样。支持弹性扩展。 |
搜索引擎 | 兼容SQL、Solr接口 | 海量日志、文本、文档等数据,适用于日志、账单、画像等场景。 | 采用存储和计算分离架构设计的分布式搜索引擎,可无缝作为宽表、时序引擎的索引存储,加速检索查询,具备全文检索、聚合计算、复杂多维查询等能力,支持水平扩展、一写多读、跨机房容灾、TTL等,满足海量数据下的高效检索需求。 |
计算引擎 | 兼容Spark接口 | 海量数据生产、交互式分析、计算学习和图计算等场景。 | 计算引擎是基于云原生架构提供的分布式计算服务,支持社区版计算模型以及编程接口,同时深度融合Lindorm存储引擎特性,利用底层数据存储特征以及索引能力,高效地完成分布式作业任务。 |
流引擎 | 兼容SQL、Kafka接口 | IoT数据处理、应用日志处理、物流时效分析、出行数据处理、轨迹实时分析等场景。 | 流引擎是面向流式数据处理的引擎,提供了流式数据的存储和轻计算功能,帮助您轻松实现将流式数据存储至云原生多模数据库 Lindorm,满足基于流式数据的处理和应用需求。结合宽表引擎的Ganos时空服务,可以实现基于流式数据的实时轨迹分析功能,如电子围栏、区域统计等。 |
选择节点规格和数量
Lindorm支持节点的水平扩展。当节点出现负载过高、延迟增大或不稳定等问题时,可以通过增加节点的数量来解决。但仅仅增加节点数量无法解决低规格节点的单机热点问题,选择更高的规格则可以避免热点问题的出现,即节点的规格决定了单机抗热点的能力。同时,节点的规格也会影响业务的稳定性,当面对热点流量或即时请求量过大的情况时,节点规格低可能会导致负载过高或OOM。
因此,建议您根据业务事先做好评估,选择合适的节点规格。如果您需要升级Lindorm实例的节点规格,可以通过云原生多模数据库 Lindorm控制台升级规格,具体操作,请参见变更实例规格。如果您无法评估需要升级的规格或在升级过程中需要帮助,请联系Lindorm技术支持(钉钉号:s0s3eg3)升级。
宽表引擎
宽表引擎支持的节点规格范围为4核8 GB至32核256 GB,节点数量可水平扩展。您可以根据实际业务需求评估业务请求量(行/秒)及分片数量,选择合适的引擎规格。
商品类型为Lindorm时,宽表引擎可选择的最小规格为4核16 GB。
宽表引擎部分性能优化功能在节点规格小于等于16 GB时可能无法生效;当节点数量小于等于2时,宽表引擎的部分写入优化功能可能无法生效。因此,在实际进行选择时,建议节点数量选择3个及以上,节点规格选择8核32 GB以上(推荐选择16核64 GB规格)。
选择建议如下:
单节点请求量小于1000,单节点承载的分片(Region)数目小于500,可以使用4核16 GB规格。
单节点请求量小于20000,单节点承载的分片数目小于1000,推荐使用8核32 GB以上规格。
单节点请求量大于20000,单节点承载的分片数目大于1000,推荐使用16核64 GB以上规格。
重要请求量和分片数量的多少并不是节点规格与数量选择的唯一标准。
如果您的业务情况复杂,选择上述建议规格可能会导致业务不稳定和延迟增大。因此当您的业务中,可能存在以下几种情况时,请选择大于上述建议规格的节点规格:
请求的一行数据量较大,达到几KB,甚至数MB。
Scan请求中存在复杂的过滤器。
请求的缓存命中率很低,每个请求都需要请求磁盘。
实例中的表非常多。
如果是在线型业务,请选择大内存规格来增加缓存命中率以提高性能。
如果需要运行MR或Spark等离线大负载任务,或TPS或QPS非常高,建议选择大CPU规格。
CPU使用率超过70%时建议您选择扩容。
时序引擎
时序引擎支持的节点规格范围为4核8 GB至32核256 GB。建议您根据实际业务情况评估TPS(测量点数/秒),选择合适的节点规格和数量。
商品类型为Lindorm时,时序引擎可选择的最小规格为4核 16GB。