云消息队列 Kafka 版内置流计算能力,兼容标准流式 SQL 语法,可直接使用 SQL 表达实时处理逻辑,无需编写代码,即可在 Kafka 内完成流式数据的读取、计算与写出。
标准流式 SQL
流计算能力提供完整的流式 SQL 支持,开发者可用熟悉的 SQL 语法定义实时处理逻辑。核心能力如下。
基本 SQL 语法
能力 | 说明 |
数据定义(DDL) | 创建、修改、删除表、视图、函数等。 |
数据查询(DQL) | 支持 |
数据操作(DML) |
|
事务性 DML | 依赖 Sink 实现幂等或事务性写入(如 Kafka 事务)。 |
流处理能力
能力 | 说明 |
时间属性 | 支持事件时间(Event Time)与处理时间(Processing Time)。 |
水印(Watermark) | 处理乱序事件,控制延迟容忍度。 |
窗口(Windowing) | 支持滚动窗口(Tumbling)、滑动窗口(Hopping)、会话窗口(Session)、累积窗口(Cumulative)、基于元素数量的窗口(Count-based)。 |
窗口 TVF | 支持 |
内置函数
类别 | 示例 |
标量函数 |
|
聚合函数 |
|
窗口函数 |
|
时间函数 |
|
JSON 函数 |
|
条件函数 |
|
类型转换 |
|
数据格式
支持 JSON、CSV、Avro(支持 Schema Registry)、Parquet、ORC、Debezium-JSON(CDC 变更日志)、Canal-JSON、Raw(原始字节)等多种格式的解析与写入。
连接器生态
流计算能力内置连接器,覆盖上下游主流系统的读写与同步,可在一个流任务内完成"读取—处理—写出"的完整链路。
类别 | 支持系统 |
消息队列 | Kafka、MQTT、RocketMQ |
连接器会逐渐开放,如有紧急需求,可通过工单提出。
云原生弹性与免运维
自动伸缩:系统根据流任务的实时负载自动扩展和缩减计算资源,兼顾性能与成本。
免集群运维:无需自建和维护流处理集群,无需关注与 Kafka 的版本兼容性。