Dataphin支持的实时数据源

Dataphin实时计算引擎下,您可通过实时任务创建实时数据源对应的表类型。本文为您介绍Dataphin各实时计算引擎支持的实时数据源及对应的读写支持。

Ververica Flink支持的实时数据源

存储类型

数据源类型

元表

维表读

大数据存储

MaxCompute

支持

支持

支持

支持

Hologres

支持

支持

支持

-

Hudi

支持

支持

支持

-

StarRocks

支持

支持

支持

-

Lindorm(计算引擎)

-

-

支持

支持

关系型数据库

PolarDB

-

支持

支持

-

PolarDB-X(原DRDS)

支持

-

支持

支持

MySQL

支持

支持(CDC)

支持

支持

PostgreSQL

支持

支持

-

-

AnalyticDB for MySQL 3.0

支持

-

支持

支持

AnalyticDB for PostgreSQL

支持

-

支持

支持

Oracle

-

-

支持

-

ClickHouse

支持

-

支持

-

消息队列

Log Service

支持

支持

支持

-

Kafka

支持

支持

支持

-

RocketMQ

支持

支持

支持

支持

NoSQL

Elasticsearch

支持

支持

支持

支持

Aliyun HBase

支持

-

支持

支持

Tablestore

支持

-

支持

支持

Redis

支持

-

支持

支持

Lindorm(宽表)

支持

-

支持

支持

Alibaba Blink支持的实时数据源

存储类型

数据源类型

维表读

大数据存储

MaxCompute

支持

支持

支持

DataHub

支持

支持

-

Hologres

支持

支持

支持

关系型数据库

PolarDB-X(原DRDS,同RDS)

-

支持

支持

AnalyticDB for MySQL 2.0

-

支持

-

AnalyticDB for MySQL 3.0

-

支持

支持

消息队列

Log Service(SLS/LOG_HUB)

支持

支持

-

Kafka

支持

支持

-

RocketMQ

支持

支持

-

NoSQL

Elasticsearch

支持

支持

不支持

Aliyun HBase

-

支持

支持

Tablestore

-

支持

支持

Redis

-

支持

支持

Apache Flink支持的实时数据源

存储类型

数据源类型

元表

维表读

大数据存储

Hive

支持(仅CDH6.x Hive 2.1.1、CDP7.x Hive 3.1.3、亚信DP5.x Hive3.1.0版本支持)

支持

支持

支持

Hive(hudi)

支持

支持

支持

-

Hive(Iceberg)

-

支持(仅支持原生DDL方式)

支持(仅支持原生DDL方式)

Hive(paimon)

支持

支持

支持

支持

Hudi

支持

支持

支持

-

Doris

支持

支持(flink1.14flink1.15)

支持(flink1.14flink1.15)

支持

SelectDB

-

-

支持

-

Paimon

支持

支持(flink1.14flink1.15)

支持(flink1.14flink1.15)

-

StarRocks

支持

支持

支持

-

MySQL

支持

支持(CDC)

支持

支持

SAP HANA

支持

支持

-

-

Microsoft SQL Server

支持

支持(CDC)

-

-

PostgreSQL

支持

支持

支持

支持

AnalyticDB for PostgreSQL

支持

-

支持

-

OceanBase

支持

支持(CDC)

Oracle

支持

支持(CDC)

支持

-

ClickHouse

支持

-

支持(仅flink 1.15)

-

TiDB

支持

支持(CDC)

-

-

GaussDB(DWS)

-

-

支持

支持

消息队列

Log Service

支持

支持(仅flink 1.15)

支持(仅flink 1.15)

-

Kafka

支持

支持

支持

-

RabbitMQ

支持

支持

支持

-

NoSQL

HBase 0.9.4

-

-

支持

支持

HBase 1.1.x

支持

-

支持

支持

HBase 2.x

支持

-

支持

支持

Elasticsearch

支持

-

支持

-

Redis

支持

-

支持(仅Flink 1.15)

支持(仅Flink 1.15)

MongoDB

支持

支持(CDC)

-

-

半结构化存储

SAP TABLE

-

支持

-

-

文件

OSS

支持

-

支持

-

FusionInsight Flink支持的实时数据源

存储类型

数据源类型

维表读

关系型数据库

MySQL

支持(CDC)

支持(JDBC)

支持(JDBC)

PostgreSQL

-

支持(JDBC)

支持(JDBC)

Oracle

-

支持(JDBC)

支持(JDBC)

消息队列

Kafka

支持

支持

-