宽表引擎(兼容HBase或Cassandra)

云原生多模数据库 Lindorm宽表引擎是面向海量半结构化、结构化数据设计的分布式存储引擎,适用于元数据、订单、账单、画像、社交、feed流、日志等场景,兼容HBase、Phoenix(SQL)、Cassandra等开源标准接口,支持单表百万亿行规模、千万级并发、毫秒级响应、跨机房强一致容灾等,高效满足业务大规模数据的在线存储与查询需求。

核心能力

核心能力

说明

低成本

通过高密度低成本介质、智能冷热分离、高压缩比算法、自适应编码等技术,达到海量数据存储处理成本比自建低80%。

云原生弹性

通过存计分离架构和Serverless技术,支持计算和存储资源的按需即时弹性。

超级大宽表

支持定义10,000以上的大宽表,可实时高并发写入。

企业级稳定性

基于高可用架构设计,历经十余年阿里巴巴集团生产环境严苛考验,提供稳如磐石的企业级稳定性。

丰富生态

兼容HBase、Cassandra(CQL)等多种开源标准接口,与Spark、Flink等多种计算引擎互联互通,无缝对接主流数据生态。

关于云原生多模数据库 Lindorm宽表引擎的更多内容,请参见功能特性Lindorm VS HBase VS Cassandra

产品架构

云原生多模数据库 Lindorm宽表引擎的架构图如下:

image

关键架构设计:

  • 数据存储与高可用

    • 宽表引擎的数据持久化存储在LDFS中,通过自动Sharding分散到集群的多台服务器。

    • 每个分区含1-N个副本(主/从角色),主从副本均可跨Zone部署,保障高可用和一致性。

    • 针对不同的一致性模式,主从副本之间的数据同步和读写模式如下:

      • 强一致模式:仅主副本读写,数据异步回放到从副本;主故障时从副本晋升(由Master协调,确保数据同步完成)。

      • 最终一致模式:主从副本均可读写,数据会相互同步,保证副本之间的数据最终一致。

  • 多副本优化机制

    • 限时触发:为每一个请求设置GlitchTimeout,超时后并发访问其他N-1个副本,最终取最快的那个响应。

    • 黑名单规避:基于超时、跑错、检测等机制自动隔离异常副本,让服务最大可能保持平滑。

  • 冷热分离

    LSM结构:结合LStore实现冷热数据自动分层,透明化查询并降低存储成本。

  • 数据模型

    松散表结构:支持动态列(无需DDL变更)、全局二级索引及倒排索引,自动根据查询条件选择最合适的索引,加速条件组合查询。

典型场景

访问方式

Lindorm宽表支持多端同时访问,即对于同一张数据表,可以任意选择下述的其中一种方式进行访问。

  • 通过Lindorm宽表SQL访问(推荐),开发体验与关系型数据库相似。

  • 通过HBase API访问,适合已基于HBase开发的应用。

  • 通过CQL访问,适合已基于Cassandra开发的应用。