云原生多模数据库 Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储引擎,适用于元数据、订单、账单、画像、社交、feed流、日志等场景,兼容HBase、Phoenix(SQL)、Cassandra等开源标准接口,支持单表百万亿行规模、千万级并发、毫秒级响应、跨机房强一致容灾等,高效满足业务大规模数据的在线存储与查询需求。
核心能力
核心能力 | 说明 |
低成本 | 通过高密度低成本介质、智能冷热分离、高压缩比算法、自适应编码等技术,达到海量数据存储处理成本比自建低80%。 |
云原生弹性 | 通过存计分离架构和Serverless技术,支持计算和存储资源的按需即时弹性。 |
超级大宽表 | 支持定义10,000列以上的大宽表,可实时高并发写入。 |
企业级稳定性 | 基于高可用架构设计,历经十余年阿里巴巴集团生产环境严苛考验,提供稳如磐石的企业级稳定性。 |
丰富生态 | 兼容HBase、Cassandra(CQL)等多种开源标准接口,与Spark、Flink等多种计算引擎互联互通,无缝对接主流数据生态。 |
关于云原生多模数据库 Lindorm宽表引擎的更多内容,请参见功能特性和Lindorm VS HBase VS Cassandra。
产品架构
云原生多模数据库 Lindorm宽表引擎的架构图如下:
关键架构设计:
数据存储与高可用
宽表引擎的数据持久化存储在LDFS中,通过自动Sharding分散到集群的多台服务器。
每个分区含1-N个副本(主/从角色),主从副本均可跨Zone部署,保障高可用和一致性。
针对不同的一致性模式,主从副本之间的数据同步和读写模式如下:
强一致模式:仅主副本读写,数据异步回放到从副本;主故障时从副本晋升(由Master协调,确保数据同步完成)。
最终一致模式:主从副本均可读写,数据会相互同步,保证副本之间的数据最终一致。
多副本优化机制
限时触发:为每一个请求设置
GlitchTimeout
,超时后并发访问其他N-1个副本,最终取最快的那个响应。黑名单规避:基于超时、跑错、检测等机制自动隔离异常副本,让服务最大可能保持平滑。
冷热分离
LSM结构:结合LStore实现冷热数据自动分层,透明化查询并降低存储成本。
数据模型
松散表结构:支持动态列(无需DDL变更)、全局二级索引及倒排索引,自动根据查询条件选择最合适的索引,加速条件组合查询。
典型场景
访问方式
Lindorm宽表支持多端同时访问,即对于同一张数据表,可以任意选择下述的其中一种方式进行访问。
通过Lindorm宽表SQL访问(推荐),开发体验与关系型数据库相似。
通过HBase API访问,适合已基于HBase开发的应用。
通过CQL访问,适合已基于Cassandra开发的应用。