数据源Dataphin支持哪些数据源-智能数据建设与治理 Dataphin(Dataphin)-阿里云帮助中心

在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据来源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、Oracle等。

背景信息

Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：

如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。
Dataphin添加数据源时支持添加生产数据源和开发数据源。Basic项目及Dev-Prod项目的Prod环境，读写生产数据源；Dev-Prod项目的Dev环境，读写开发数据源。数据服务中Basic模式和Dev-Prod模式的Prod环境读取生产数据源，Dev-Prod模式的Dev环境读取开发数据源。同步任务不支持生产开发双环境，产品中的数据源读写的都是生产数据源。
说明
在内置的数据源类型中，未有所需接入的数据源类型时，您可自定义离线或实时数据源类型，并将自定义的数据源对接到Dataphin，以满足不同的数据源接入需求。具体操作，请参见：
- 新建离线自定义源类型
- 新建实时自定义源类型

数据源说明

应用场景	描述	相关文档
离线集成	离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建在组件库中，满足多样化的数据同步需求。	离线集成
实时集成	Dataphin支持实时集成功能，可将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现来源端数据源与目标端数据源实时的保持数据同步。	实时集成
离线研发-数据库SQL	数据源接入Dataphin中后，支持在Dataphin创建数据库SQL任务进行开发。	新建数据库SQL任务
元数据采集	元数据中心负责从各业务系统中抽取、加工、集中存储和管理元数据，以支持数据治理，并加强组织内部数据的组织、检索和分析能力。	元数据中心
实时研发	接入的数据源支持用于创建实时元表创建与实时任务的开发。	Flink_SQL任务开发方式
数据质量	资产质量是基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。您可根据数据源创建全域表质量规则或数据源质量规则。数据源质量规则支持选择Dataphin内所有数据源创建质量监控规则，支持的数据源均可进行连通性测试，其中，仅部分数据源支持配置表结构异动监测质量规则，详情请参见下方表格数据源质量-表结构异动性列。	资产质量概述
数据服务	数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。	数据服务
标签工厂	标签工厂是通过标签创建到服务全链路的构建，为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台，适合多种场景（如风控、营销），提供离线、实时、服务标签的开发、管理、探索以及服务能力，赋能上层各端业务应用，为企业沉淀标签资产，使标签开发高效、好找、好用、好管理。	标签工厂概述

本文仅列举了支持接入Dataphin的数据源及在Dataphin中支持的应用场景。若需要查看数据源在各场景中具体支持的功能详情，请参见：

大数据存储型数据源

数据源类型	离线集成	实时集成	离线研发-数据库SQL	元数据采集	实时研发	全域表质量	数据源质量-表结构异动性	数据服务	标签工厂	创建指导
MaxCompute	支持	支持	不支持	不支持	支持	支持	支持	支持	支持	创建MaxCompute数据源
Hive	支持	支持	不支持	支持	支持	支持	支持	支持	不支持	创建Hive数据源
Hologres	支持	支持	支持	支持	支持	支持	支持	支持	支持	创建Hologres数据源
Impala	支持	不支持	不支持	不支持	不支持	不支持	支持	支持	不支持	创建Impala数据源
TDH Inceptor	支持	不支持	不支持	不支持	支持	支持	支持	支持	不支持	创建TDH Inceptor数据源
Kudu	支持	不支持	不支持	不支持	不支持	不支持	支持	不支持	不支持	创建Kudu数据源
StarRocks	支持	支持	支持	支持	支持	支持	支持	支持	不支持	创建StarRocks数据源
Hudi	不支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	不支持	创建Hudi数据源
Doris	支持	不支持	支持	支持	支持	支持	支持	支持	不支持	新建Doris数据源
GreenPlum	支持	不支持	不支持	支持	不支持	不支持	不支持	不支持	支持	创建GreenPlum数据源
TDengine	支持	不支持	支持	不支持	不支持	不支持	不支持	支持	不支持	新建TDengine数据源
ArgoDB	支持	不支持	不支持	不支持	不支持	支持	支持	不支持	不支持	新建ArgoDB数据源
SelectDB	支持	不支持	支持	支持	不支持	支持	支持	支持	不支持	新建SelectDB数据源
Databricks	支持	支持	不支持	不支持	不支持	支持	支持	支持	不支持	创建Databricks数据源
Amazon Redshift	支持	不支持	不支持	支持	不支持	支持	支持	支持	不支持	创建Amazon Redshift数据源
DolphinDB	支持	不支持	不支持	支持	不支持	不支持	不支持	支持	不支持	创建DolphinDB数据源
Snowflake	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建Snowflake数据源
Data Lake Formation	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建Data Lake Formation数据源

文件数据源

数据源类型	离线集成	实时集成	离线研发-数据库SQL	元数据采集	实时研发	全域表质量	数据源质量-表结构异动性	数据服务	标签工厂	创建指导
HDFS	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建HDFS数据源
FTP	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建FTP数据源
OSS	支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	不支持	创建OSS数据源
Amazon S3	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	新建Amazon S3数据源

消息队列数据源

数据源类型	离线集成	实时集成	离线研发-数据库SQL	元数据采集	实时研发	全域表质量	数据源质量-表结构异动性	数据服务	标签工厂	创建指导
Log Service	支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	不支持	创建Log Service数据源
Kafka	支持	支持	不支持	不支持	支持	不支持	不支持	不支持	支持	创建Kafka数据源
DataHub	支持	支持	不支持	不支持	支持	不支持	不支持	不支持	支持	创建DataHub数据源
RabbitMQ	不支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	不支持	创建RabbitMQ数据源

关系型数据源

数据源类型	离线集成	实时集成	离线研发-数据库SQL	元数据采集	实时研发	全域表质量	数据源质量-表结构异动性	数据服务	标签工厂	非结构化数据集	创建指导
PolarDB	支持	不支持	不支持	不支持	支持	支持	支持	不支持	不支持	不支持	创建PolarDB数据源
PolarDB-X（原DRDS）	支持	不支持	不支持	支持	支持	支持	支持	不支持	不支持	不支持	创建PolarDB-X数据源
PolarDB-X 2.0	支持	不支持	支持	不支持	不支持	支持	支持	支持	不支持	不支持	创建PolarDB-X2.0数据源
MySQL	支持	支持	支持	支持	支持	支持	支持	支持	支持	不支持	创建MySQL数据源
SAP HANA	支持	不支持	不支持	支持	支持	支持	支持	支持	不支持	不支持	创建SAP HANA数据源
Microsoft SQL Server	支持	支持	支持	支持	支持	支持	支持	支持	不支持	不支持	创建Microsoft SQL Server数据源
PostgreSQL	支持	支持	支持	支持	支持	支持	支持	支持	支持	支持	创建PostgreSQL数据源
AnalyticDB for MySQL 2.0	支持	不支持	支持	不支持	支持	不支持	支持	支持	不支持	不支持	创建AnalyticDB for MySQL 2.0数据源
AnalyticDB for MySQL 3.0	支持	不支持	支持	支持	支持	不支持	支持	支持	不支持	不支持	新建AnalyticDB for MySQL 3.0数据源
AnalyticDB for PostgreSQL	支持	不支持	支持	不支持	支持	支持	支持	支持	支持	不支持	创建AnalyticDB for PostgreSQL数据源
OceanBase	支持	不支持	支持	支持	支持	不支持	支持	支持	不支持	不支持	创建OceanBase数据源
Oracle	支持	支持	支持	支持	支持	支持	支持	支持	支持	不支持	创建Oracle数据源
Vertica	支持	不支持	不支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	创建Vertica数据源
IBM DB2	支持	支持	不支持	支持	不支持	支持	支持	不支持	不支持	不支持	创建IBM DB2数据源
Teradata	支持	不支持	不支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	创建Teradata数据源
ClickHouse	支持	不支持	支持	支持	支持	支持	支持	支持	不支持	不支持	创建ClickHouse数据源
DM（达梦）	支持	不支持	支持	支持	不支持	支持	支持	支持	不支持	不支持	创建达梦（DM）数据源
GBase 8a	支持	不支持	支持	不支持	不支持	不支持	不支持	支持	不支持	不支持	创建GBase 8a数据源
KingbaseES	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建KingbaseES数据源
TiDB	支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	不支持	不支持	创建TiDB数据源
GoldenDB	支持	不支持	不支持	不支持	不支持	支持	支持	不支持	不支持	不支持	创建GoldenDB数据源
OpenGauss	支持	不支持	支持	支持	不支持	不支持	不支持	不支持	支持	不支持	创建OpenGauss数据源
GaussDB（DWS）	支持	不支持	支持	不支持	支持	支持	支持	支持	不支持	不支持	创建GaussDB（DWS）数据源
Amazon RDS for MySQL	支持	不支持	不支持	支持	不支持	支持	支持	支持	不支持	不支持	创建Amazon RDS for MySQL数据源
Amazon RDS for PostgreSQL	支持	不支持	不支持	支持	不支持	支持	支持	支持	不支持	不支持	创建Amazon RDS for PostgreSQL数据源
Amazon RDS for SQL Server	支持	不支持	不支持	支持	不支持	支持	支持	支持	不支持	不支持	创建Amazon RDS for SQL Server数据源
Amazon RDS for Oracle	支持	不支持	不支持	支持	不支持	支持	支持	支持	不支持	不支持	创建Amazon RDS for Oracle数据源
Amazon RDS for DB2	支持	不支持	不支持	支持	不支持	支持	支持	不支持	不支持	不支持	创建Amazon RDS for DB2数据源
TDSQL for MySQL	支持	不支持	支持	支持	不支持	支持	支持	支持	不支持	不支持	创建TDSQL for MySQL
GBase 8c	支持	不支持	不支持	不支持	不支持	不支持	不支持	支持	不支持	不支持	创建GBase 8c数据源
TDSQL for PostgreSQL	支持	不支持	支持	不支持	不支持	支持	不支持	支持	不支持	不支持	创建TDSQL for PostgreSQL数据源
OushuDB	支持	支持	支持	不支持	不支持	支持	不支持	不支持	不支持	不支持	创建OushuDB数据源

NoSQL数据源

数据源类型	离线集成	实时集成	离线研发-数据库SQL	元数据采集	实时研发	全域表质量	数据源质量-表结构异动性	数据服务	标签工厂	知识图谱	创建指导
HBase0.9.4	支持	不支持	不支持	不支持	支持	不支持	不支持	支持	支持	不支持	创建HBase数据源
HBase1.1x	支持	不支持	不支持	不支持	支持	不支持	不支持	支持	支持	不支持	创建HBase数据源
HBase2.0	支持	不支持	不支持	不支持	支持	不支持	不支持	支持	支持	不支持	创建HBase数据源
Elasticsearch	支持	不支持	不支持	支持	支持	不支持	不支持	支持	支持	不支持	创建Elasticsearch数据源
MongoDB	支持	不支持	不支持	不支持	支持	不支持	不支持	支持	不支持	不支持	创建MongoDB数据源
Tablestore	支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	支持	不支持	创建Tablestore数据源
Aliyun HBase	不支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	不支持	不支持	创建Aliyun HBase数据源
Redis	支持	不支持	不支持	不支持	支持	不支持	不支持	不支持	不支持	不支持	创建Redis数据源
Presto	不支持	不支持	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建Presto数据源
Easysearch	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建Easysearch数据源
Trino	不支持	不支持	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建Trino数据源
OpenSearch	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建OpenSearch数据源
InfluxDB	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建InfluxDB数据源
Lindorm	支持	不支持	支持（不包含连接类型为宽表引擎-HBase的数据源）	不支持	不支持	不支持	不支持	支持	支持（仅支持连接类型为宽表引擎-HBase的数据源）	支持	创建Lindorm数据源

半结构化存储数据源

数据源类型	离线集成	实时集成	离线研发-数据库SQL	元数据采集	实时研发	全域表质量	数据源质量-表结构异动性	数据服务	标签工厂	知识图谱	创建指导
API	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	支持	不支持	创建API数据源
SAP Table	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建SAP Table数据源
Salesforce	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建Salesforce数据源
飞书多维表格数据源	支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	创建飞书多维表格数据源
Neo4j	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	不支持	支持	创建Neo4j数据源

向量型数据库

数据源类型

离线集成

实时集成

离线研发-数据库SQL

元数据采集

实时研发

全域表质量

数据源质量-表结构异动性

数据服务

标签工厂

知识图谱

非结构化数据集

创建指导

Milvus

支持

不支持

支持

创建Milvus数据源