支持的连接器

本文为您介绍Flink全托管支持的连接器。

背景信息

阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。阿里云实时计算Flink版支持以下几类数据存储类型:

  • 源表:流式数据的输入会触发和推动实时计算Flink版进行数据处理。每个实时计算Flink版作业必须至少声明一个流式数据输入源。

  • 维表:维表也被称为静态数据输入,对于每条流式数据,可以关联一个外部静态数据源进行查询,为实时计算Flink版提供数据关联查询。

  • 结果表:实时计算Flink版将计算的结果数据写出到结果表,为下游数据继续消费提供各类读写接口。

支持的连接器

连接器

支持类型

运行模式

API类型

是否支持更新或删除结果表数据

源表

维表

结果表

消息队列Kafka

×

流模式

SQL和DataStream

不支持更新和删除结果表数据,只支持插入数据。

实时数仓Hologres

流模式和批模式

SQL和DataStream

日志服务SLS

×

流模式

SQL

不支持更新和删除结果表数据,只支持插入数据。

MySQL

流模式

SQL和DataStream

云数据库RDS MySQL版

×

流模式和批模式

SQL

大数据计算服务MaxCompute

流模式和批模式

SQL和DataStream

不支持更新和删除结果表数据,只支持插入数据。

数据总线DataHub

×

流模式和批模式

SQL和DataStream

不支持更新和删除结果表数据,只支持插入数据。

云数据库Redis

×

流模式

SQL

Upsert Kafka

×

×

流模式和批模式

SQL

Elasticsearch

流模式和批模式

SQL和DataStream

云原生数据仓库 AnalyticDB MySQL版 3.0

×

流模式和批模式

SQL

ClickHouse

×

×

流模式和批模式

SQL

Hudi源表

√(公测中)

×

√(公测中)

流模式和批模式

SQL和DataStream

Print

×

×

流模式和批模式

SQL

Blackhole

×

×

流模式和批模式

SQL

云数据库HBase

×

流模式

SQL

Datagen

×

×

流模式和批模式

SQL

不涉及

消息队列RocketMQ

×

流模式

SQL和DataStream

不支持更新和删除结果表数据,只支持插入数据。

表格存储OTS

√(公测中)

流模式

SQL

JDBC

流模式和批模式

SQL

云数据库MongoDB

×

×

流模式

SQL

StarRocks

×

流模式和批模式

SQL和DataStream

Postgres CDC(公测中)

×

×

流模式

SQL

不涉及

云原生数据仓库AnalyticDB PostgreSQL版

×

流模式和批模式

SQL

云原生多模数据库Lindorm

×

流模式

SQL

对象存储OSS

×

流模式和批模式

SQL和DataStream

不支持更新和删除结果表数据,只支持插入数据。

模拟数据生成Faker

×

流模式和批模式

SQL

不涉及

Iceberg

×

流模式和批模式

SQL

InfluxDB

×

×

流模式

SQL

流式数据湖仓Paimon

流模式和批模式

SQL

阿里云首页 实时计算 Flink版 相关技术圈