在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎,支持接入MaxCompute、Hive等数据仓库,也支持对接企业传统数据库,如MySQL、Oracle等。
背景信息
Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:
如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。
Dataphin添加数据源时支持添加生产数据源和开发数据源。Basic项目及Dev-Prod项目的Prod环境,读写生产数据源;Dev-Prod项目的Dev环境,读写开发数据源。数据服务中Basic模式和Dev-Prod模式的Prod环境读取生产数据源,Dev-Prod模式的Dev环境读取开发数据源。同步任务不支持生产开发双环境,产品中的数据源读写的都是生产数据源。
说明在内置的数据源类型中,未有所需接入的数据源类型时,您可自定义离线或实时数据源类型,并将自定义的数据源对接到Dataphin,以满足不同的数据源接入需求。具体操作,请参见:
数据源说明
应用场景 | 描述 | 相关文档 |
离线集成 | 离线集成支持多种组件,包括输入、输出与转换组件等,通过在画布上简单的拖拽、配置并组装的方式,生成离线集成单条管道。离线集成也支持脚本模式,支持更多个性化配置。同时,用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建在组件库中,满足多样化的数据同步需求。 | |
实时集成 | Dataphin支持实时集成功能,可将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中,实现来源端数据源与目标端数据源实时的保持数据同步。 | |
离线研发 | 数据源接入Dataphin中后,支持在Dataphin创建数据库SQL任务进行开发。 | |
实时研发 | 接入的数据源支持用于创建实时元表创建与实时任务的开发。 | |
全域质量 | 全域质量即资产质量,是基于Dataphin平台,为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。 | |
数据服务 | 数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。 |
本文仅列举了支持接入Dataphin的数据源及在Dataphin中支持的应用场景。若需要查看数据源在各场景中具体支持的功能详情,请参见:
大数据存储型数据源
数据源类型 | 离线集成 | 实时集成 | 离线研发 | 实时研发 | 全域质量 | 数据服务 | 创建指导 |
MaxCompute | 支持 | 支持 | 不支持 | 支持 | 支持 | 不支持 | |
Hive | 支持 | 支持 | 不支持 | 支持 | 支持 | 不支持 | |
Hologres | 支持 | 不支持 | 不支持 | 支持 | 支持 | 支持 | |
Impala | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | |
TDH Inceptor | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Kudu | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
StarRocks | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 支持 | |
Hudi | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | |
Doris | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | |
GreenPlum | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
TDengine | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | |
ArgoDB | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Paimon | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | |
SelectDB | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | |
Lindorm(计算引擎) | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |
文件数据源
数据源类型 | 离线集成 | 实时集成 | 离线研发 | 实时研发 | 全域质量 | 数据服务 | 创建指导 |
HDFS | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
FTP | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
OSS | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Amazon S3 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |
消息队列数据源
数据源类型 | 离线集成 | 实时集成 | 离线研发 | 实时研发 | 全域质量 | 数据服务 | 创建指导 |
Log Service | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | |
Kafka | 支持 | 支持 | 不支持 | 支持 | 不支持 | 不支持 | |
DataHub | 支持 | 支持 | 不支持 | 支持 | 不支持 | 不支持 |
关系型数据源
数据源类型 | 离线集成 | 实时集成 | 离线研发 | 实时研发 | 全域质量 | 数据服务 | 创建指导 |
PolarDB | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | |
PolarDB-X(原DRDS) | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | |
MySQL | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | |
SAP HANA | 支持 | 不支持 | 不支持 | 支持 | 支持 | 支持 | |
Microsoft SQL Server | 支持 | 支持 | 不支持 | 支持 | 支持 | 支持 | |
PostgreSQL | 支持 | 支持 | 不支持 | 支持 | 支持 | 支持 | |
AnalyticDB for MySQL 2.0 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 支持 | |
AnalyticDB for MySQL 3.0 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 支持 | |
AnalyticDB for PostgreSQL | 支持 | 不支持 | 支持 | 支持 | 支持 | 支持 | |
OceanBase | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | |
Oracle | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | |
Vertica | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
IBM DB2 | 支持 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | |
Teradata | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
ClickHouse | 支持 | 支持 | 不支持 | 支持 | 支持 | 支持 | |
DM(达梦) | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 支持 | |
GBase 8a | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
KingbaseES | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
TiDB | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | |
GoldenDB | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
OpenGauss | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |
NoSQL数据源
数据源类型 | 离线集成 | 实时集成 | 离线研发 | 实时研发 | 全域质量 | 数据服务 | 创建指导 |
HBase0.9.4 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | |
HBase1.1x | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 支持 | |
HBase2.0 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 支持 | |
Elasticsearch | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 支持 | |
MongoDB | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 支持 | |
Tablestore | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Aliyun HBase | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Redis | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | |
Lindorm(宽表引擎) | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 |
半结构化存储数据源
数据源类型 | 离线集成 | 实时集成 | 离线研发 | 实时研发 | 全域质量 | 数据服务 | 创建指导 |
API | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
SAP Table | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Salesforce | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |