在Dataphin实时计算引擎下,您可通过实时任务创建实时数据源对应的表类型。本文为您介绍Dataphin各实时计算引擎支持的实时数据源及对应的读写支持。
Ververica Flink支持的实时数据源
| 存储类型 | 数据源类型 | 读 | 写 | 维表读 | 
| 大数据存储 | MaxCompute | 支持 | 支持 | 支持 | 
| DataHub | 支持 | 支持 | - | |
| Hologres | 支持 | 支持 | 支持 | |
| 数据湖 | Hudi | 支持 | 支持 | - | 
| Iceberg | 支持(仅支持原生DDL方式) | 支持(仅支持原生DDL方式) | - | |
| 关系型数据库 | PolarDB | 支持 | 支持 | - | 
| PolarDB-X(原DRDS,同RDS) | - | 支持 | 支持 | |
| AnalyticDB for MySQL 3.0 | - | 支持 | 支持 | |
| AnalyticDB for PostgreSQL 6.0+ | - | 支持 | 支持 | |
| Postgres | 支持(支持postgres-cdc) | - | - | |
| MySQL | 支持(支持mysql-cdc) | 支持 | 支持 | |
| Oracle | - | 支持 | - | |
| RDS for MySQL(原DRDS) | - | 支持 | 支持 | |
| 消息队列 | Log Service(SLS/LOG_HUB) | 支持 | 支持 | - | 
| Kafka | 支持 | 支持 | - | |
| RocketMQ | 支持 | 支持 | 支持 | |
| NoSQL | Elasticsearch | 支持 | 支持 | 支持 | 
| Aliyun HBase | - | 支持 | 支持 | |
| Tablestore | - | 支持 | 支持 | |
| Redis | - | 支持 | 支持 | |
| Lindorm(宽表) | - | 支持 | 支持 | |
| StarRocks | 支持 | 支持 | - | 
Alibaba Blink支持的实时数据源
| 存储类型 | 数据源类型 | 读 | 写 | 维表读 | 
| 大数据存储 | MaxCompute | 支持 | 支持 | 支持 | 
| DataHub | 支持 | 支持 | - | |
| Hologres | 支持 | 支持 | 支持 | |
| 关系型数据库 | PolarDB-X(原DRDS,同RDS) | - | 支持 | 支持 | 
| AnalyticDB for MySQL 2.0 | - | 支持 | - | |
| AnalyticDB for MySQL 3.0 | - | 支持 | 支持 | |
| 消息队列 | Log Service(SLS/LOG_HUB) | 支持 | 支持 | - | 
| Kafka | 支持 | 支持 | - | |
| RocketMQ | 支持 | 支持 | - | |
| NoSQL | Elasticsearch | 支持 | 支持 | 不支持 | 
| Aliyun HBase | - | 支持 | 支持 | |
| Tablestore | - | 支持 | 支持 | |
| Redis | - | 支持 | 支持 | 
Apache Flink支持的实时数据源
| 存储类型 | 数据源类型 | 读 | 写 | 维表读 | 
| 大数据存储 | Apache Hive | 支持 | 支持 | 支持 | 
| Doris | 支持(flink1.14及flink1.15) | 支持(flink1.14及flink1.15) | 支持 | |
| 数据湖 | Hudi | 支持 | 支持 | - | 
| Iceberg | 支持(仅支持原生DDL方式) | 支持(仅支持原生DDL方式) | - | |
| Paimon | 支持 | 支持 | - | |
| 关系型数据库 | PolarDB | 支持 | 支持 | - | 
| Postgres | 支持(支持postgres-cdc) | 支持 | 支持 | |
| MySQL | 支持(支持mysql-cdc) | 支持 | 支持 | |
| SQL Server | 支持(支持sql server-cdc) | - | - | |
| Oracle | 支持(支持oracle-cdc) | 支持 | - | |
| OCEAN BASE | 支持(支持oceanbase-cdc) | - | - | |
| TIDB | 支持(支持tidb-cdc) | - | - | |
| ClickHouse | - | 支持(仅Flink 1.15) | - | |
| SAP HANA | 支持 | - | - | |
| 消息队列 | Log Service(SLS/LOG_HUB) | 支持(仅flink 1.15) | 支持(仅flink 1.15) | - | 
| Kafka | 支持 | 支持 | - | |
| RabbitMQ | 支持 | 支持 | 不支持 | |
| NoSQL | Elasticsearch | 不支持 | 支持 | 不支持 | 
| Redis | - | 支持(仅Flink 1.15) | 支持(仅Flink 1.15) | |
| Apache HBase | - | 支持 | 支持 | |
| MongoDB | 支持(支持mongodb-cdc) | - | - | |
| StarRocks | 支持 | 支持 | - | |
| 半结构化存储 | SAP TABLE | 支持 | 不支持 | 不支持 | 
| 文件 | OSS | 不支持 | 支持 | 不支持 | 
FusionInsight Flink支持的实时数据源
| 存储类型 | 数据源类型 | 读 | 写 | 维表读 | 
| 大数据存储 | Apache Hive | 支持 | 支持 | 支持 | 
| Doris | 支持 | 支持 | - | |
| Paimon | 支持 | 支持 | - | |
| 数据湖 | Hudi | 支持 | 支持 | - | 
| 关系型数据库 | PolarDB | 支持 | 支持 | - | 
| AnalyticDB for PostgreSQL 6.0+ | - | - | 支持 | |
| Postgres | - | 支持 | 支持 | |
| MySQL | - | 支持 | 支持 | |
| Oracle | - | 支持 | - | |
| ClickHouse | - | 支持 | - | |
| 消息队列 | Log Service(SLS/LOG_HUB) | 支持 | 支持 | - | 
| Kafka | 支持 | 支持 | - | |
| NoSQL | Elasticsearch | - | 支持 | - | 
| Redis | 支持 | 支持 | - | |
| Apache HBase | - | 支持 | 支持 | |
| StarRocks | 支持 | 支持 | - |