在Dataphin实时计算引擎下,您可通过实时任务创建实时数据源对应的表类型。本文为您介绍Dataphin各实时计算引擎支持的实时数据源及对应的读写支持。
Ververica Flink支持的实时数据源
存储类型 | 数据源类型 | 元表 | 读 | 写 | 维表读 |
大数据存储 | MaxCompute | 支持 | 支持 | 支持 | 支持 |
Hologres | 支持 | 支持 | 支持 | - | |
Hudi | 支持 | 支持 | 支持 | - | |
StarRocks | 支持 | 支持 | 支持 | - | |
Lindorm(计算引擎) | - | - | 支持 | 支持 | |
关系型数据库 | PolarDB | - | 支持 | 支持 | - |
PolarDB-X(原DRDS) | 支持 | - | 支持 | 支持 | |
MySQL | 支持 | 支持(CDC) | 支持 | 支持 | |
PostgreSQL | 支持 | 支持 | - | - | |
AnalyticDB for MySQL 3.0 | 支持 | - | 支持 | 支持 | |
AnalyticDB for PostgreSQL | 支持 | - | 支持 | 支持 | |
Oracle | - | - | 支持 | - | |
ClickHouse | 支持 | - | 支持 | - | |
消息队列 | Log Service | 支持 | 支持 | 支持 | - |
Kafka | 支持 | 支持 | 支持 | - | |
RocketMQ | 支持 | 支持 | 支持 | 支持 | |
NoSQL | Elasticsearch | 支持 | 支持 | 支持 | 支持 |
Aliyun HBase | 支持 | - | 支持 | 支持 | |
Tablestore | 支持 | - | 支持 | 支持 | |
Redis | 支持 | - | 支持 | 支持 | |
Lindorm(宽表) | 支持 | - | 支持 | 支持 |
Alibaba Blink支持的实时数据源
存储类型 | 数据源类型 | 读 | 写 | 维表读 |
大数据存储 | MaxCompute | 支持 | 支持 | 支持 |
DataHub | 支持 | 支持 | - | |
Hologres | 支持 | 支持 | 支持 | |
关系型数据库 | PolarDB-X(原DRDS,同RDS) | - | 支持 | 支持 |
AnalyticDB for MySQL 2.0 | - | 支持 | - | |
AnalyticDB for MySQL 3.0 | - | 支持 | 支持 | |
消息队列 | Log Service(SLS/LOG_HUB) | 支持 | 支持 | - |
Kafka | 支持 | 支持 | - | |
RocketMQ | 支持 | 支持 | - | |
NoSQL | Elasticsearch | 支持 | 支持 | 不支持 |
Aliyun HBase | - | 支持 | 支持 | |
Tablestore | - | 支持 | 支持 | |
Redis | - | 支持 | 支持 |
Apache Flink支持的实时数据源
存储类型 | 数据源类型 | 元表 | 读 | 写 | 维表读 |
大数据存储 | Hive | 支持(仅CDH6.x Hive 2.1.1、CDP7.x Hive 3.1.3、亚信DP5.x Hive3.1.0版本支持) | 支持 | 支持 | 支持 |
Hive(hudi) | 支持 | 支持 | 支持 | - | |
Hive(Iceberg) | - | 支持(仅支持原生DDL方式) | 支持(仅支持原生DDL方式) | ||
Hive(paimon) | 支持 | 支持 | 支持 | 支持 | |
Hudi | 支持 | 支持 | 支持 | - | |
Doris | 支持 | 支持(flink1.14及flink1.15) | 支持(flink1.14及flink1.15) | 支持 | |
SelectDB | - | - | 支持 | - | |
Paimon | 支持 | 支持(flink1.14及flink1.15) | 支持(flink1.14及flink1.15) | - | |
StarRocks | 支持 | 支持 | 支持 | - | |
MySQL | 支持 | 支持(CDC) | 支持 | 支持 | |
SAP HANA | 支持 | 支持 | - | - | |
Microsoft SQL Server | 支持 | 支持(CDC) | - | - | |
PostgreSQL | 支持 | 支持 | 支持 | 支持 | |
AnalyticDB for PostgreSQL | 支持 | - | 支持 | - | |
OceanBase | 支持 | 支持(CDC) | |||
Oracle | 支持 | 支持(CDC) | 支持 | - | |
ClickHouse | 支持 | - | 支持(仅flink 1.15) | - | |
TiDB | 支持 | 支持(CDC) | - | - | |
GaussDB(DWS) | - | - | 支持 | 支持 | |
消息队列 | Log Service | 支持 | 支持(仅flink 1.15) | 支持(仅flink 1.15) | - |
Kafka | 支持 | 支持 | 支持 | - | |
RabbitMQ | 支持 | 支持 | 支持 | - | |
NoSQL | HBase 0.9.4 | - | - | 支持 | 支持 |
HBase 1.1.x | 支持 | - | 支持 | 支持 | |
HBase 2.x | 支持 | - | 支持 | 支持 | |
Elasticsearch | 支持 | - | 支持 | - | |
Redis | 支持 | - | 支持(仅Flink 1.15) | 支持(仅Flink 1.15) | |
MongoDB | 支持 | 支持(CDC) | - | - | |
半结构化存储 | SAP TABLE | - | 支持 | - | - |
文件 | OSS | 支持 | - | 支持 | - |
FusionInsight Flink支持的实时数据源
存储类型 | 数据源类型 | 读 | 写 | 维表读 |
关系型数据库 | MySQL | 支持(CDC) | 支持(JDBC) | 支持(JDBC) |
PostgreSQL | - | 支持(JDBC) | 支持(JDBC) | |
Oracle | - | 支持(JDBC) | 支持(JDBC) | |
消息队列 | Kafka | 支持 | 支持 | - |