引擎简介

更新时间:
复制为 MD 格式

云原生多模数据库Lindorm流引擎面向实时数据处理场景,支持使用标准SQL及传统数据库核心特性完成一站式的实时数据处理,适用于车联网、物联网和互联网中常见的实时解析入库、实时ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和功能特性。

核心能力

  • Serverless:基于阿里云ECI弹性容器构建,低成本高性价比,开箱即用。

  • 资源组隔离:多资源组物理隔离,保障流任务安全可控。

  • 自动弹性:基于时间规则(波峰波谷)与集群负载的自动弹性,优化资源使用率。

  • 内置Connector:内置宽表、列存、搜索等引擎连接器(Connector),支持元数据共享,保障数据一致性并提升开发效率。

  • 标准SQL访问:支持标准SQL访问,通过实时ETL SQL构建实时数据链路或实时数据预计算链路,满足各类实时数据处理需求。

  • 流运维平台:一体化流作业运维管理平台,覆盖流作业开发、部署、运维、监控告警全流程。

  • 数据库CDC: 集成业界主流的Flink CDC能力,支持实时捕获MySQL、Oracle等数据库的数据变更,轻松构建异构数据同步链路。

  • 流批一体: 基于Flink统一计算引擎,支持在同一平台运行流式(Streaming)与批处理(Batch)作业,用一套技术栈满足多样化数据处理需求。

使用场景

实时入库

例如车联网数据实时上报,通过流引擎对车机数据完成解码、解析、入库等步骤。

image

实时ETL

类似实时物化视图,对表数据进行实时预计算处理,例如预聚合、预JOIN等,预计算结果将实时存储至结果表中提供实时查询。

image

实时分析

Lindorm CDC数据进行实时分析,例如报表统计、异常检测、地理围栏、CEP等。

image