Dataphin支持的实时数据源
在Dataphin实时计算引擎下,您可通过实时任务创建实时数据源对应的表类型。本文为您介绍Dataphin各实时计算引擎支持的实时数据源及表类型。
表类型说明
共分为以下3种表类型:
源表:主要用于实时数据源的输入。
结果表:主要用于实时数据源的写入,实时计算引擎将处理完的数据写入到目标数据库中。
维表:用于维表join,一般代表存储维度数据的表。
Dataphin支持的实时数据源
数据源类型 | 数据源名称 | 表类型 | 实时计算引擎 | |
Ververica Flink | Alibaba Blink | |||
大数据存储 | MaxCompute | 全量源表(批)、结果表、维表、增量源表(流) | 支持 | 支持 |
DataHub | 源表、结果表 | 支持 | 支持 | |
Hologres | 源表、结果表、维表 | 支持 | 支持 | |
Elasticsearch | 来源表(全量源表) | 支持 | 支持 | |
Elasticsearch | 结果表 | 支持 | 支持 | |
Elasticsearch | 维表 | 支持 | 不支持 | |
Apache Hive | 维表、源表、结果表 | 不支持 | 不支持 | |
Hudi | 来源表、结果表 | 支持 | 不支持 | |
Doris | 来源表、结果表 | 不支持 | 不支持 | |
关系型数据库 | PolarDB | 来源表、结果表 | 支持 | 不支持 |
PolarDB-X(原DRDS,同RDS) | 维表、结果表 | 支持 | 支持 | |
AnalyticDB for MySQL 2.0 | 结果表 | 不支持 | 支持 | |
AnalyticDB for MySQL 3.0 | 结果表、维表 | 支持 | 支持 | |
AnalyticDB for PostgreSQL 6.0+ | 维表 | 支持 | 不支持 | |
AnalyticDB for PostgreSQL 6.0+ | 结果表 | 支持 | 不支持 | |
Postgres | 源表 | 支持 | 不支持 | |
Postgres | 维表、结果表 | 不支持 | 不支持 | |
MySQL | 源表、结果表、维表 | 支持 | 不支持 | |
SQL Server CDC | 来源表 | 不支持 | 不支持 | |
RDS for MySQL(原DRDS) | 维表、结果表 | 支持 | 不支持 | |
Oracle | 来源表 | 不支持 | 不支持 | |
OCEAN BASE | 来源表 | 不支持 | 不支持 | |
TIDB | 来源表 | 不支持 | 不支持 | |
ClickHouse | 结果表 | 不支持 | 不支持 | |
消息队列 | Log Service(SLS/LOG_HUB) | 来源表、结果表 | 支持 | 支持 |
Kafka | 源表、结果表 | 支持 | 支持 | |
RocketMQ | 源表、结果表 | 支持 | 支持 | |
NoSQL | Aliyun HBase | 维表、结果表 | 支持 | 支持 |
Tablestore | 维表、结果表 | 支持 | 支持 | |
Redis | 维表、结果表 | 支持 | 支持 | |
Lindorm | 维表、结果表 | 支持 | 不支持 | |
Apache HBase | 维表、结果表 | 不支持 | 不支持 | |
MONGODB | 来源表 | 不支持 | 不支持 | |
StarRocks | 来源表 | 支持 | 不支持 | |
StarRocks | 结果表 | 支持 | 不支持 |