引擎简介

云原生多模数据库 Lindorm流引擎面向实时数据处理场景,支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理,适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和功能特性。

产品架构

云原生多模数据库 Lindorm流引擎的架构图如下:image.png

云原生多模数据库 Lindorm提供了一体化的数据存储、计算和查询能力。流引擎面向流式数据,实现了流存储和流计算的融合一体化,提供高效的实时数据处理能力。同时,在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合,共享存储,提供完整统一的数据库体验。此外,流引擎与时空引擎AI引擎进行有机融合,提供相应的企业级功能。

产品优势

流引擎专注产品的云原生、高性能和易用性,致力于降低海量实时数据处理的使用门槛和成本,侧重于业务的实现而非复杂的基础设施维护。同时,流引擎也能够对现有的系统进行降本增效。

image.png
  • 实时性:支持秒级别的实时数据处理。

  • 易用性

    • 支持标准SQL。

    • 可以与Lindorm其他引擎无缝融合,实现摄取、存储、计算、查询一体化。

  • 低成本

    • 在存储与计算分离模式下具备更低的数据摄取和存储成本。

    • 单独流处理场景的性能为开源方案的2倍。

  • 开源兼容

    • 100%兼容开源Kafka协议。

    • 兼容Flink SQL。

  • 云原生弹性

    • 存储与计算可独立扩缩容。

    • 支持资源快速伸缩。

    • 支持自动负载均衡。

应用场景

异常检测

实时检测运行中设备的时序异常指标或异常模式,帮助您快速定位问题,及时进行预警。流引擎支持多种检测方式,例如条件判断、模式识别和AI推理。

检测效果如下图所示:

image.png

地理围栏

地理围栏主要适用于需要检测车辆是否偏离预定的行驶路线、车辆是否离开或进入指定的区域等场景。流引擎内置了地理围栏专用的数据类型和算子,并提供缓存和索引用于高性能的围栏判断。

image.png

数据ETL入库

对实时数据进行过滤、增强、转化等操作并写入数据库。流引擎与宽表引擎、时序引擎共享存储,无需手动关联元数据。

image.png

实时报表

对实时数据在窗口内执行聚合计算。

image.png

事件驱动

通过数据订阅获取宽表引擎或时序引擎中的变更数据,并对变更数据进行处理。

image.png