Dataphin支持的数据源

更新时间: 2023-11-09 10:16:16

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎,支持接入MaxCompute、Hive等数据仓库,也支持对接企业传统数据库,如MySQL、Oracle等。

背景信息

Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:

  • 如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。

  • Dataphin添加数据源时支持添加生产数据源和开发数据源。Basic项目及Dev-Prod项目的Prod环境,读写生产数据源;Dev-Prod项目的Dev环境,读写开发数据源。数据服务中Basic模式和Dev-Prod模式的Prod环境读取生产数据源,Dev-Prod模式的Dev环境读取开发数据源。同步任务不支持生产开发双环境,产品中的数据源读写的都是生产数据源。

    说明

    在内置的数据源类型中,未有所需接入的数据源类型时,您可自定义离线或实时数据源类型,并将自定义的数据源对接到Dataphin,以满足不同的数据源接入需求。具体操作,请参见:

大数据存储型数据源

数据源类型

数据集成

实时研发

数据治理

数据服务

数据安全

创建数据源的操作指导

MaxCompute

离线读、写

Flink vvp和Blink计算引擎下支持

支持

不支持

支持

创建MaxCompute数据源

Hologres

离线读、写

Flink vvp和Blink计算引擎下支持

不支持

支持

不支持

创建Hologres数据源

IMPALA

离线读、写

不支持

不支持

支持

不支持

创建Impala数据源

Hudi

离线读、写

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

创建Hudi数据源

Doris

不支持

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

新建Doris数据源

GreenPlum

离线读、写

不支持

不支持

不支持

不支持

创建GreenPlum数据源

文件数据源

数据源类型

数据集成

实时研发

数据治理

数据服务

数据安全

创建数据源的操作指导

FTP

离线读、写

不支持

不支持

不支持

不支持

创建FTP数据源

OSS

离线读、写

不支持

不支持

不支持

不支持

创建OSS数据源

消息队列数据源

数据源类型

数据集成

实时研发

数据治理

数据服务

数据安全

创建数据源的操作指导

Log Service

离线读

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

创建Log Service数据源

Kafka

离线读、写

实时写

支持

不支持

不支持

不支持

创建Kafka数据源

RocketMQ

不支持

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

创建RocketMQ数据源

DataHub

离线读、写

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

创建DataHub数据源

关系型数据源

数据源类型

数据集成

实时研发

数据治理

数据服务

数据安全

创建数据源的操作指导

PolarDB

离线读、写

不支持

不支持

不支持

不支持

创建PolarDB数据源

PolarDB-X(原DRDS)

离线读、写

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

创建PolarDB-X数据源

MySQL

离线读、写

实时读

Flink vvp和开源Flink计算引擎下支持

不支持

支持

不支持

创建MySQL数据源

SAP HANA

离线读、写

不支持

不支持

不支持

不支持

创建SAP HANA数据源

Microsoft SQL Server

离线读、写

开源Flink计算引擎下支持

不支持

支持

不支持

创建Microsoft SQL Server数据源

PostgreSQL

离线读、写

实时读

Flink vvp和开源Flink计算引擎下支持

不支持

支持

不支持

创建PostgreSQL数据源

AnalyticDB for MySQL 2.0

离线写

Blink计算引擎下支持

不支持

支持

不支持

创建AnalyticDB for MySQL 2.0数据源

AnalyticDB for MySQL 3.0

离线读、写

Flink vvp和Blink计算引擎下支持

不支持

支持

不支持

新建AnalyticDB for MySQL 3.0数据源

AnalyticDB for PostgreSQL

离线读、写

Flink vvp计算引擎下支持

不支持

支持

不支持

创建AnalyticDB for PostgreSQL数据源

OceanBase

离线读、写

开源Flink计算引擎下支持

不支持

不支持

不支持

创建OceanBase数据源

Oracle

离线读、写

实时读

开源Flink计算引擎下支持

不支持

支持

不支持

创建Oracle数据源

Vertica

离线读、写

不支持

不支持

不支持

不支持

创建Vertica数据源

IBM DB2

离线读、写

不支持

不支持

不支持

不支持

创建IBM DB2数据源

Teradata

离线读、写

不支持

不支持

不支持

不支持

创建Teradata数据源

ClickHouse

离线读、写

Flink vvp计算引擎下支持

不支持

不支持

不支持

创建ClickHouse数据源

DM(达梦)

离线读、写

不支持

不支持

不支持

不支持

创建达梦(DM)数据源

GBase 8a

离线读、写

不支持

不支持

不支持

不支持

创建GBase 8a数据源

KingbaseES

离线读、写

不支持

不支持

不支持

不支持

创建KingbaseES数据源

TiDB

离线读、写

开源Flink计算引擎下支持

不支持

不支持

不支持

创建TiDB数据源

GoldenDB

离线读、写

不支持

不支持

不支持

不支持

创建GoldenDB数据源

OpenGauss

离线读、写

不支持

不支持

不支持

不支持

创建OpenGauss数据源

StarRocks

离线读、写

Flink vvp计算引擎下支持

不支持

不支持

不支持

创建StarRocks数据源

NoSQL数据源

数据源类型

数据集成

实时研发

数据治理

数据服务

数据安全

创建数据源的操作指导

Elasticsearch

离线读、写

Flink vvp和Blink计算引擎下支持

不支持

支持

不支持

创建Elasticsearch数据源

MongoDB

离线读、写

开源Flink计算引擎下支持

不支持

支持

不支持

创建MongoDB数据源

Tablestore

离线读、写

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

创建Tablestore数据源

Aliyun HBase

不支持

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

创建Aliyun HBase数据源

Redis

离线读、写

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

创建Redis数据源

Lindorm

不支持

Flink vvp和Blink计算引擎下支持

不支持

不支持

不支持

创建Lindorm数据源

半结构化存储数据源

数据源类型

数据集成

实时研发

数据治理

数据服务

数据安全

创建数据源的操作指导

API

离线读、写

不支持

不支持

不支持

不支持

创建API数据源

SAP Table

离线读

不支持

不支持

不支持

不支持

创建Sap Table数据源

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈