Dataphin支持的数据源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎,支持接入MaxCompute、Hive等数据仓库,也支持对接企业传统数据库,如MySQL、Oracle等。

背景信息

Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:

  • 如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。

  • Dataphin添加数据源时支持添加生产数据源和开发数据源。Basic项目及Dev-Prod项目的Prod环境,读写生产数据源;Dev-Prod项目的Dev环境,读写开发数据源。数据服务中Basic模式和Dev-Prod模式的Prod环境读取生产数据源,Dev-Prod模式的Dev环境读取开发数据源。同步任务不支持生产开发双环境,产品中的数据源读写的都是生产数据源。

    说明

    在内置的数据源类型中,未有所需接入的数据源类型时,您可自定义离线或实时数据源类型,并将自定义的数据源对接到Dataphin,以满足不同的数据源接入需求。具体操作,请参见:

数据源说明

应用场景

描述

相关文档

离线集成

离线集成支持多种组件,包括输入、输出与转换组件等,通过在画布上简单的拖拽、配置并组装的方式,生成离线集成单条管道。离线集成也支持脚本模式,支持更多个性化配置。同时,用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建在组件库中,满足多样化的数据同步需求。

离线集成概述

实时集成

Dataphin支持实时集成功能,可将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中,实现来源端数据源与目标端数据源实时的保持数据同步。

实时集成概述

离线研发

数据源接入Dataphin中后,支持在Dataphin创建数据库SQL任务进行开发。

新建数据库SQL任务

实时研发

接入的数据源支持用于创建实时元表创建与实时任务的开发。

Flink_SQL任务开发方式

全域质量

全域质量即资产质量,是基于Dataphin平台,为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。

资产质量概述

数据服务

数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。

数据服务概述

本文仅列举了支持接入Dataphin的数据源及在Dataphin中支持的应用场景。若需要查看数据源在各场景中具体支持的功能详情,请参见:

大数据存储型数据源

数据源类型

离线集成

实时集成

离线研发

实时研发

全域质量

数据服务

创建指导

MaxCompute

支持

支持

不支持

支持

支持

不支持

创建MaxCompute数据源

Hive

支持

支持

不支持

支持

支持

不支持

创建Hive数据源

Hologres

支持

不支持

不支持

支持

支持

支持

创建Hologres数据源

Impala

支持

不支持

不支持

不支持

不支持

支持

创建Impala数据源

TDH Inceptor

支持

不支持

不支持

不支持

不支持

不支持

创建TDH Inceptor数据源

Kudu

支持

不支持

不支持

不支持

不支持

不支持

创建Kudu数据源

StarRocks

支持

不支持

不支持

支持

不支持

支持

创建StarRocks数据源

Hudi

支持

不支持

不支持

支持

不支持

不支持

创建Hudi数据源

Doris

支持

不支持

不支持

支持

不支持

不支持

新建Doris数据源

GreenPlum

支持

不支持

不支持

不支持

不支持

不支持

创建GreenPlum数据源

TDengine

不支持

不支持

不支持

不支持

不支持

支持

新建TDengine数据源

ArgoDB

支持

不支持

不支持

不支持

不支持

不支持

新建ArgoDB数据源

Paimon

不支持

不支持

不支持

支持

不支持

不支持

新建Paimon数据源

SelectDB

支持

不支持

不支持

不支持

不支持

支持

新建SelectDB数据源

Lindorm(计算引擎)

支持

不支持

不支持

不支持

不支持

不支持

创建Lindorm(计算引擎)数据源

文件数据源

数据源类型

离线集成

实时集成

离线研发

实时研发

全域质量

数据服务

创建指导

HDFS

支持

不支持

不支持

不支持

不支持

不支持

创建HDFS数据源

FTP

支持

不支持

不支持

不支持

不支持

不支持

创建FTP数据源

OSS

支持

不支持

不支持

不支持

不支持

不支持

创建OSS数据源

Amazon S3

支持

不支持

不支持

不支持

不支持

不支持

新建Amazon S3数据源

消息队列数据源

数据源类型

离线集成

实时集成

离线研发

实时研发

全域质量

数据服务

创建指导

Log Service

支持

不支持

不支持

支持

不支持

不支持

创建Log Service数据源

Kafka

支持

支持

不支持

支持

不支持

不支持

创建Kafka数据源

DataHub

支持

支持

不支持

支持

不支持

不支持

创建DataHub数据源

关系型数据源

数据源类型

离线集成

实时集成

离线研发

实时研发

全域质量

数据服务

创建指导

PolarDB

支持

不支持

不支持

支持

不支持

不支持

创建PolarDB数据源

PolarDB-X(原DRDS)

支持

不支持

不支持

支持

不支持

不支持

创建PolarDB-X数据源

MySQL

支持

支持

支持

支持

支持

支持

创建MySQL数据源

SAP HANA

支持

不支持

不支持

支持

支持

支持

创建SAP HANA数据源

Microsoft SQL Server

支持

支持

不支持

支持

支持

支持

创建Microsoft SQL Server数据源

PostgreSQL

支持

支持

不支持

支持

支持

支持

创建PostgreSQL数据源

AnalyticDB for MySQL 2.0

支持

不支持

不支持

支持

不支持

支持

创建AnalyticDB for MySQL 2.0数据源

AnalyticDB for MySQL 3.0

支持

不支持

不支持

支持

不支持

支持

新建AnalyticDB for MySQL 3.0数据源

AnalyticDB for PostgreSQL

支持

不支持

支持

支持

支持

支持

创建AnalyticDB for PostgreSQL数据源

OceanBase

支持

不支持

不支持

支持

不支持

不支持

创建OceanBase数据源

Oracle

支持

支持

支持

支持

支持

支持

创建Oracle数据源

Vertica

支持

不支持

不支持

不支持

不支持

不支持

创建Vertica数据源

IBM DB2

支持

支持

不支持

不支持

支持

不支持

创建IBM DB2数据源

Teradata

支持

不支持

不支持

不支持

不支持

不支持

创建Teradata数据源

ClickHouse

支持

支持

不支持

支持

支持

支持

创建ClickHouse数据源

DM(达梦)

支持

不支持

不支持

不支持

支持

支持

创建达梦(DM)数据源

GBase 8a

支持

不支持

不支持

不支持

不支持

不支持

创建GBase 8a数据源

KingbaseES

支持

不支持

不支持

不支持

不支持

不支持

创建KingbaseES数据源

TiDB

支持

不支持

不支持

支持

不支持

不支持

创建TiDB数据源

GoldenDB

支持

不支持

不支持

不支持

不支持

不支持

创建GoldenDB数据源

OpenGauss

支持

不支持

不支持

不支持

不支持

不支持

创建OpenGauss数据源

NoSQL数据源

数据源类型

离线集成

实时集成

离线研发

实时研发

全域质量

数据服务

创建指导

HBase0.9.4

不支持

不支持

不支持

不支持

不支持

支持

创建HBase数据源

HBase1.1x

支持

不支持

不支持

支持

不支持

支持

创建HBase数据源

HBase2.0

支持

不支持

不支持

支持

不支持

支持

创建HBase数据源

Elasticsearch

支持

不支持

不支持

支持

不支持

支持

创建Elasticsearch数据源

MongoDB

支持

不支持

不支持

支持

不支持

支持

创建MongoDB数据源

Tablestore

支持

不支持

不支持

不支持

不支持

不支持

创建Tablestore数据源

Aliyun HBase

不支持

不支持

不支持

不支持

不支持

不支持

创建Aliyun HBase数据源

Redis

支持

不支持

不支持

支持

不支持

不支持

创建Redis数据源

Lindorm(宽表引擎)

不支持

不支持

不支持

不支持

不支持

支持

创建Lindorm数据源

半结构化存储数据源

数据源类型

离线集成

实时集成

离线研发

实时研发

全域质量

数据服务

创建指导

API

支持

不支持

不支持

不支持

不支持

不支持

创建API数据源

SAP Table

支持

不支持

不支持

不支持

不支持

不支持

创建SAP Table数据源

Salesforce

支持

不支持

不支持

不支持

不支持

不支持

创建Salesforce数据源