在Dataphin实时计算引擎下,您可通过实时任务创建实时数据源对应的表类型。本文为您介绍Dataphin各实时计算引擎支持的实时数据源及对应的读写支持。
Ververica Flink支持的实时数据源
存储类型 | 数据源类型 | 读 | 写 | 维表读 |
大数据存储 | MaxCompute | 支持 | 支持 | 支持 |
DataHub | 支持 | 支持 | - | |
Hologres | 支持 | 支持 | 支持 | |
数据湖 | Hudi | 支持 | 支持 | - |
Iceberg | 支持(仅支持原生DDL方式) | 支持(仅支持原生DDL方式) | - | |
关系型数据库 | PolarDB | 支持 | 支持 | - |
PolarDB-X(原DRDS,同RDS) | - | 支持 | 支持 | |
AnalyticDB for MySQL 3.0 | - | 支持 | 支持 | |
AnalyticDB for PostgreSQL 6.0+ | - | 支持 | 支持 | |
Postgres | 支持(支持postgres-cdc) | - | - | |
MySQL | 支持(支持mysql-cdc) | 支持 | 支持 | |
Oracle | - | 支持 | - | |
RDS for MySQL(原DRDS) | - | 支持 | 支持 | |
消息队列 | Log Service(SLS/LOG_HUB) | 支持 | 支持 | - |
Kafka | 支持 | 支持 | - | |
RocketMQ | 支持 | 支持 | 支持 | |
NoSQL | Elasticsearch | 支持 | 支持 | 支持 |
Aliyun HBase | - | 支持 | 支持 | |
Tablestore | - | 支持 | 支持 | |
Redis | - | 支持 | 支持 | |
Lindorm(宽表) | - | 支持 | 支持 | |
StarRocks | 支持 | 支持 | - |
Alibaba Blink支持的实时数据源
存储类型 | 数据源类型 | 读 | 写 | 维表读 |
大数据存储 | MaxCompute | 支持 | 支持 | 支持 |
DataHub | 支持 | 支持 | - | |
Hologres | 支持 | 支持 | 支持 | |
关系型数据库 | PolarDB-X(原DRDS,同RDS) | - | 支持 | 支持 |
AnalyticDB for MySQL 2.0 | - | 支持 | - | |
AnalyticDB for MySQL 3.0 | - | 支持 | 支持 | |
消息队列 | Log Service(SLS/LOG_HUB) | 支持 | 支持 | - |
Kafka | 支持 | 支持 | - | |
RocketMQ | 支持 | 支持 | - | |
NoSQL | Elasticsearch | 支持 | 支持 | 不支持 |
Aliyun HBase | - | 支持 | 支持 | |
Tablestore | - | 支持 | 支持 | |
Redis | - | 支持 | 支持 |
Apache Flink支持的实时数据源
存储类型 | 数据源类型 | 读 | 写 | 维表读 |
大数据存储 | Apache Hive | 支持 | 支持 | 支持 |
Doris | 支持(flink1.14及flink1.15) | 支持(flink1.14及flink1.15) | 支持 | |
数据湖 | Hudi | 支持 | 支持 | - |
Iceberg | 支持(仅支持原生DDL方式) | 支持(仅支持原生DDL方式) | - | |
Paimon | 支持 | 支持 | - | |
关系型数据库 | PolarDB | 支持 | 支持 | - |
Postgres | 支持(支持postgres-cdc) | 支持 | 支持 | |
MySQL | 支持(支持mysql-cdc) | 支持 | 支持 | |
SQL Server | 支持(支持sql server-cdc) | - | - | |
Oracle | 支持(支持oracle-cdc) | 支持 | - | |
OCEAN BASE | 支持(支持oceanbase-cdc) | - | - | |
TIDB | 支持(支持tidb-cdc) | - | - | |
ClickHouse | - | 支持(仅Flink 1.15) | - | |
SAP HANA | 支持 | - | - | |
消息队列 | Log Service(SLS/LOG_HUB) | 支持(仅flink 1.15) | 支持(仅flink 1.15) | - |
Kafka | 支持 | 支持 | - | |
NoSQL | Elasticsearch | 不支持 | 支持 | 不支持 |
Redis | - | 支持(仅Flink 1.15) | 支持(仅Flink 1.15) | |
Apache HBase | - | 支持 | 支持 | |
MongoDB | 支持(支持mongodb-cdc) | - | - | |
StarRocks | 支持 | 支持 | - | |
半结构化存储 | SAP TABLE | 支持 | 不支持 | 不支持 |
文件 | OSS | 不支持 | 支持 | 不支持 |
FusionInsight Flink支持的实时数据源
存储类型 | 数据源类型 | 读 | 写 | 维表读 |
大数据存储 | Apache Hive | 支持 | 支持 | 支持 |
Doris | 支持 | 支持 | - | |
Paimon | 支持 | 支持 | - | |
数据湖 | Hudi | 支持 | 支持 | - |
关系型数据库 | PolarDB | 支持 | 支持 | - |
AnalyticDB for PostgreSQL 6.0+ | - | - | 支持 | |
Postgres | - | 支持 | 支持 | |
MySQL | - | 支持 | 支持 | |
Oracle | - | 支持 | - | |
ClickHouse | - | 支持 | - | |
消息队列 | Log Service(SLS/LOG_HUB) | 支持 | 支持 | - |
Kafka | 支持 | 支持 | - | |
NoSQL | Elasticsearch | - | 支持 | - |
Redis | 支持 | 支持 | - | |
Apache HBase | - | 支持 | 支持 | |
StarRocks | 支持 | 支持 | - |