Dataphin支持的数据源
在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎,支持接入MaxCompute、Hive等数据仓库,也支持对接企业传统数据库,如MySQL、Oracle等。
背景信息
Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:
如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。
Dataphin添加数据源时支持添加生产数据源和开发数据源。Basic项目及Dev-Prod项目的Prod环境,读写生产数据源;Dev-Prod项目的Dev环境,读写开发数据源。数据服务中Basic模式和Dev-Prod模式的Prod环境读取生产数据源,Dev-Prod模式的Dev环境读取开发数据源。同步任务不支持生产开发双环境,产品中的数据源读写的都是生产数据源。
说明在内置的数据源类型中,未有所需接入的数据源类型时,您可自定义离线或实时数据源类型,并将自定义的数据源对接到Dataphin,以满足不同的数据源接入需求。具体操作,请参见:
大数据存储型数据源
数据源类型 | 数据集成 | 实时研发 | 数据治理 | 数据服务 | 数据安全 | 创建数据源的操作指导 |
MaxCompute | 离线读、写 | Flink vvp和Blink计算引擎下支持 | 支持 | 不支持 | 支持 | |
Hologres | 离线读、写 | Flink vvp和Blink计算引擎下支持 | 不支持 | 支持 | 不支持 | |
IMPALA | 离线读、写 | 不支持 | 不支持 | 支持 | 不支持 | |
Hudi | 离线读、写 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
Doris | 不支持 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
GreenPlum | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 |
文件数据源
数据源类型 | 数据集成 | 实时研发 | 数据治理 | 数据服务 | 数据安全 | 创建数据源的操作指导 |
FTP | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
OSS | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 |
消息队列数据源
数据源类型 | 数据集成 | 实时研发 | 数据治理 | 数据服务 | 数据安全 | 创建数据源的操作指导 |
Log Service | 离线读 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
Kafka | 离线读、写 实时写 | 支持 | 不支持 | 不支持 | 不支持 | |
RocketMQ | 不支持 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
DataHub | 离线读、写 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 |
关系型数据源
数据源类型 | 数据集成 | 实时研发 | 数据治理 | 数据服务 | 数据安全 | 创建数据源的操作指导 |
PolarDB | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
PolarDB-X(原DRDS) | 离线读、写 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
MySQL | 离线读、写 实时读 | Flink vvp和开源Flink计算引擎下支持 | 不支持 | 支持 | 不支持 | |
SAP HANA | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
Microsoft SQL Server | 离线读、写 | 开源Flink计算引擎下支持 | 不支持 | 支持 | 不支持 | |
PostgreSQL | 离线读、写 实时读 | Flink vvp和开源Flink计算引擎下支持 | 不支持 | 支持 | 不支持 | |
AnalyticDB for MySQL 2.0 | 离线写 | Blink计算引擎下支持 | 不支持 | 支持 | 不支持 | |
AnalyticDB for MySQL 3.0 | 离线读、写 | Flink vvp和Blink计算引擎下支持 | 不支持 | 支持 | 不支持 | |
AnalyticDB for PostgreSQL | 离线读、写 | Flink vvp计算引擎下支持 | 不支持 | 支持 | 不支持 | |
OceanBase | 离线读、写 | 开源Flink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
Oracle | 离线读、写 实时读 | 开源Flink计算引擎下支持 | 不支持 | 支持 | 不支持 | |
Vertica | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
IBM DB2 | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
Teradata | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
ClickHouse | 离线读、写 | Flink vvp计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
DM(达梦) | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
GBase 8a | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
KingbaseES | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
TiDB | 离线读、写 | 开源Flink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
GoldenDB | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
OpenGauss | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
StarRocks | 离线读、写 | Flink vvp计算引擎下支持 | 不支持 | 不支持 | 不支持 |
NoSQL数据源
数据源类型 | 数据集成 | 实时研发 | 数据治理 | 数据服务 | 数据安全 | 创建数据源的操作指导 |
Elasticsearch | 离线读、写 | Flink vvp和Blink计算引擎下支持 | 不支持 | 支持 | 不支持 | |
MongoDB | 离线读、写 | 开源Flink计算引擎下支持 | 不支持 | 支持 | 不支持 | |
Tablestore | 离线读、写 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
Aliyun HBase | 不支持 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
Redis | 离线读、写 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 | |
Lindorm | 不支持 | Flink vvp和Blink计算引擎下支持 | 不支持 | 不支持 | 不支持 |
半结构化存储数据源
数据源类型 | 数据集成 | 实时研发 | 数据治理 | 数据服务 | 数据安全 | 创建数据源的操作指导 |
API | 离线读、写 | 不支持 | 不支持 | 不支持 | 不支持 | |
SAP Table | 离线读 | 不支持 | 不支持 | 不支持 | 不支持 |