列存引擎

产品架构

云原生多模数据库 Lindorm列存引擎的架构图如下：

• 高效写入与全托管治理：列存引擎将数据以Iceberg格式存储在Lindorm DFS中，借助流引擎实现了数据的高效写入能力，并提供了数据全托管治理能力，如文件合并、快照清理、冷热分离等，列存引擎会自动调度计算引擎提供的Spark弹性计算资源来实现文件的治理。

• 兼容Iceberg生态与Spark无缝对接：列存引擎兼容Iceberg数据湖生态，可以无缝对接到计算引擎的Spark提供批处理能力，并通过大规模并行处理（Massively Parallel Processing，MPP）提供高性能的查询分析能力。

• 深度融合其他引擎资源：列存引擎深度融合流引擎和计算引擎，实现了泛时序场景数据的高效读写、高压缩比存储、高性能在线分析等特性。

核心能力

• 高性能：支持高并发、低延时数据实时写入，并提供高性能的数据分析能力。

• 弹性伸缩：采用存算分离架构，支持在线弹性伸缩，以适应极大规模的数据存储与处理需求。

• 数据压缩：列存引擎采用列式存储，支持多种压缩算法。

• 计算分析：通过MPP和向量化技术，实现数据的高效查询与分析。

• 生态兼容：兼容Iceberg数据湖及生态，并提供高效的数据和元信息管理服务。