什么是云原生多模数据库Lindorm

本文介绍云原生多模数据库 Lindorm的产品概要。

前置概念

阅读本文前,您可能需要了解如下概念:

什么是云原生多模数据库Lindorm

云原生多模数据库 Lindorm是面向物联网、互联网、车联网等设计和优化的云原生多模超融合数据库,支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和融合处理,并兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等多种标准接口和无缝集成三方生态工具,适用于日志、监控、账单、广告、社交、出行、风控等场景,Lindorm也是为阿里巴巴核心业务提供支撑的数据库之一。

为什么选择云原生多模数据库Lindorm

业务背景

传统数据存储方案需针对结构化、半结构化等不同类型数据采用独立数据库(如关系型、时序、对象存储等),导致技术碎片化严重:技术组件繁杂、选型复杂、数据同步链路冗长。这不仅推高技术人员门槛和业务上线周期,还增加故障率与维护成本;更阻碍架构演进(如实现跨可用区高可用或全球同步需各组件独立改造),而5G/IoT等技术普及进一步加剧了"多样数据需求与存储架构复杂化"的核心矛盾。

为了解决这个问题,阿里云自研了云原生多模数据库Lindorm,满足多模型数据的统一存储、查询和分析需求。如下图所示,与传统方案相比,Lindorm系统极大地简化数据存储技术架构设计,大幅度提升系统稳定性,降低建设成本投入。

image

核心能力

Lindorm具备弹性、低成本、简单易用、开放、稳定等优势,适合元数据、日志、账单、标签、消息、报表、维表、结果表、Feed流、用户画像、设备数据、监控数据、传感器数据、小文件、小图片等数据的存储和分析,其核心能力包括:

核心能力

说明

多模超融合

支持宽表、时序、对象、文本、队列、空间等多种数据模型,模型之间数据互融互通,具备数据接入、存储、检索、计算、分析等一体化融合处理与服务的能力,帮助应用开发更加敏捷、灵活、高效。

高性价比

支持千万级高并发吞吐、毫秒级访问延迟,并通过多级存储介质、智能冷热分离、自适应特征压缩,大幅减少存储成本。

云原生弹性

支持计算资源、存储资源独立弹性伸缩,并提供按需即时弹性、按使用量付费的Serverless服务

开放兼容

兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka多种标准接口,支持与Hadoop、Spark、Flink、Kafka等系统无缝打通,并提供简单易用的数据交换、处理、订阅等能力。

更多详情请参见功能特性产品优势

产品架构

Lindorm创新性地使用存储计算分离、多模共享融合的云原生架构,以适应云计算时代资源解耦和弹性伸缩的诉求。Lindorm以云原生分布式文件系统LindormDFS为统一存储底座,支撑宽表引擎、时序引擎、搜索引擎、向量引擎、列存引擎等各个垂直专用的多模数据引擎。在多模引擎之上,Lindorm既提供统一的SQL访问实现跨模型联合查询,也提供HBase/Cassandra、OpenTSDB、Spark、HDFS等开源标准接口,保障存量业务无缝迁移。同时,数据通道服务(LTS)实时处理引擎间数据流转与变更捕获,实现数据迁移、实时订阅、数湖转存、数仓回流、单元化多活及备份恢复等能力。

image

多模介绍

Lindorm支持宽表、时序、对象、文件、队列、空间等多种数据模型,提供标准SQL和开源接口两种方式,模型之间数据互融互通,帮助应用开发更加敏捷、灵活、高效。多模型的核心能力主要由以下几大数据引擎提供,包括:

数据引擎

核心能力

宽表引擎

负责宽表与对象数据的管理和服务,具备全局二级索引、多维检索、动态列、TTL等能力,适用于元数据、订单、账单、画像、社交、feed流、日志等场景,兼容SQL、HBase、Cassandra(CQL)、S3等标准接口。

支持千万级高并发吞吐,支持PB级存储,吞吐性能是开源HBase(Apache HBase)的3~7,P99时延为开源HBase(Apache HBase)的1/10,平均故障恢复时间相比开源HBase(Apache HBase)提升10,支持冷热分离,压缩率比开源HBase(Apache HBase)提升一倍,综合存储成本为开源HBase(Apache HBase)的1/2

时序引擎

负责时序数据的管理和服务,主要面向工业、IoT、监控等领域的量测数据、监控数据以及设备运行数据提供基于SQL的管理、写入、查询能力。针对时序数据设计的压缩算法,压缩率可达10:1。支持海量数据的多维查询和聚合计算,提供原生PromQL查询能力,同时也支持时序数据的预降采样和持续查询。

搜索引擎

负责多模数据的检索分析加速,其基于列存、倒排等核心技术,具备全文检索、聚合计算、复杂多维查询等能力,适用于日志、账单、画像等场景,兼容SQL、开源Solr等标准接口。

计算引擎

计算引擎与Lindorm存储引擎深度融合,基于云原生架构提供的分布式计算服务,资源归属于用户,满足用户在数据生产、交互式分析、机器学习和图计算等场景的计算需求,兼容开源Spark标准接口。

向量引擎

云原生多模数据库 Lindorm向量引擎提供面向海量向量数据的存储、索引和检索服务,支持多种索引算法和距离函数,并支持丰富的融合检索方式。向量引擎不仅可以为大模型RAG系统提供必需的全文-向量融合检索能力,进一步提升大模型回答准确度,同时还适用于推荐、NLP服务、智能问答等多种AI业务场景。

列存引擎

云原生多模数据库 Lindorm列存引擎是一款高性能、低成本、稳定可靠的在线列存数据库引擎服务,面向IoT、车联网、日志等场景,提供高效读写、高压缩比存储、高性能在线分析等能力。

AI引擎

云原生多模数据库 Lindorm AI引擎资源归属于用户,为用户提供了一站式集成AI推理能力,支持通过Lindorm SQL灵活导入并部署预训练模型,对海量多模数据进行智能分析和处理。