引擎简介

云原生多模数据库Lindorm流引擎面向实时数据处理场景,支持使用标准SQL及传统数据库核心特性完成一站式的实时数据处理,适用于车联网、物联网和互联网中常见的实时解析入库、实时ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和功能特性。

核心能力

  • Serverless:基于阿里云ECI弹性容器构建,低成本高性价比,开箱即用。

  • 资源组隔离:多资源组物理隔离,保障流任务安全可控。

  • 自动弹性:基于时间规则(波峰波谷)与集群负载的自动弹性,优化资源使用率。

  • 内置Connector:内置宽表、列存、搜索等引擎连接器(Connector),支持元数据共享,保障数据一致性并提升开发效率。

  • 标准SQL访问:支持标准SQL访问,通过实时ETL SQL构建实时数据链路或实时数据预计算链路,满足各类实时数据处理需求。

  • 流运维平台:一体化流作业运维管理平台,覆盖流作业开发、部署、运维、监控告警全流程。

  • 开源兼容:完全兼容开源Flink。

使用场景

实时入库

例如车联网数据实时上报,通过流引擎对车机数据完成解码、解析、入库等步骤。

image

实时ETL

类似实时物化视图,对表数据进行实时预计算处理,例如预聚合、预JOIN等,预计算结果将实时存储至结果表中提供实时查询。

image

实时分析

Lindorm CDC数据进行实时分析,例如报表统计、异常检测、地理围栏、CEP等。

image