支持的外部数据源与导入方案-云原生数据仓库AnalyticDB-阿里云

AnalyticDB for MySQL支持导入RDS MySQL、MongoDB、OSS、MaxCompute、Kafka等多种数据源至数据仓库或数据湖中，各数据源支持的导入方案也不同，您可以参考本文档，选择合适的导入方案。

概述

数据入仓和数据入湖的区别如下：

数据入仓：
- 数据经过预处理后会导入数据仓库。
- 数据仓库采用AnalyticDB for MySQL自研的玄武分析型存储引擎作为存储引擎，玄武分析型存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力，是AnalyticDB for MySQL实现高吞吐实时写入、高性能实时查询的基础支撑。
- 数据入仓适用于对后续数据分析性能有较高要求的业务场景。
数据入湖：
- 将原始数据以开源的Iceberg、Paimon等表格式导入至数据湖中。
- 数据湖可以是AnalyticDB for MySQL提供的湖存储，也可以是您自有的OSS Bucket。数据湖具有开源开放的特点，数据格式为Iceberg、Paimon等开源表格式。数据湖中的数据除了可被AnalyticDB for MySQL的Spark、XIHE引擎访问外，还可被外部引擎（例如：MaxCompute）直接访问。
- 数据入湖适用于有开源开放需求且对分析性能要求不严格的业务场景。若对数据湖访问性能有要求，可以开通湖存储加速（LakeCache）来获得相对OSS更高的带宽和更低的延迟。

数据入仓

类别	数据源	导入方式	产品系列	文档链接
数据库	RDS MySQL	外表	数仓版、企业版、基础版或湖仓版	通过外表导入RDS MySQL数据
		DTS	数仓版、企业版、基础版或湖仓版	通过DTS导入数据
		DataWorks	数仓版、企业版、基础版或湖仓版	通过DataWorks导入数据
		无感集成	数仓版、企业版、基础版或湖仓版	通过无感集成（Zero-ETL）同步数据
		MySQL分析实例	数仓版	通过MySQL分析实例同步至数仓版
	RDS SQL Server	DTS	数仓版、企业版、基础版或湖仓版	通过DTS导入数据
	RDS SQL Server	DataWorks	数仓版、企业版、基础版或湖仓版	通过DataWorks导入数据
	PolarDB分布式版（原DRDS）	DTS	数仓版、企业版、基础版或湖仓版	通过DTS导入数据
		DataWorks	数仓版、企业版、基础版或湖仓版	通过DataWorks导入数据
		一站式同步	企业版、基础版或湖仓版	自动同步PolarDB-X元数据
	PolarDB MySQL	联邦分析	企业版、基础版或湖仓版	通过联邦分析功能同步数据
		DTS	数仓版、企业版、基础版或湖仓版	通过DTS导入数据
		无感集成	数仓版、企业版、基础版或湖仓版	通过无感集成（Zero-ETL）同步数据
		一键建仓	数仓版	通过一键建仓同步至数仓版
	MongoDB	外表	企业版、基础版或湖仓版	通过外表导入MongoDB数据
	MongoDB	无感集成	数仓版、企业版、基础版或湖仓版	通过无感集成（Zero-ETL）同步数据
	Lindorm	无感集成	数仓版、企业版、基础版或湖仓版	Lindorm数据导入
	Oracle	DataWorks	数仓版、企业版、基础版或湖仓版	Oracle数据导入
	自建MySQL	外表	数仓版	自建MySQL数据导入
	自建HBase	DTS	数仓版	自建HBase数据导入
	AnalyticDB for MySQL 2.0版	迁移工具	数仓版	AnalyticDB for MySQL 2.0数据导入
存储	OSS	外表	数仓版、企业版、基础版或湖仓版	通过外表导入OSS数据
	OSS	DataWorks	数仓版、企业版、基础版或湖仓版	通过DataWorks导入数据
	表格存储（Tablestore）	外表	企业版、基础版或湖仓版	查询并导入Tablestore数据
	HDFS	外表	数仓版、企业版、基础版或湖仓版	通过外表导入HDFS数据
	HDFS	DataWorks	数仓版、企业版、基础版或湖仓版	通过DataWorks导入
大数据	MaxCompute	外表	数仓版、企业版、基础版或湖仓版	通过外表导入MaxCompute数据
	MaxCompute	DataWorks	数仓版、企业版、基础版或湖仓版	通过DataWorks导入
	Flink	Flink	数仓版	Flink数据导入
消息队列	Kafka	DataWorks	数仓版、企业版、基础版或湖仓版	通过DataWorks导入数据
消息队列	Kafka	Logstash插件	数仓版	通过Logstash导入数仓版
日志类数据	日志数据	数据同步	数仓版、企业版、基础版或湖仓版	通过数据同步功能同步SLS数据至数仓版
日志类数据	日志数据	Logstash插件	数仓版	通过Logstash导入数仓版
本地数据		SQLAlchemy	数仓版、企业版、基础版或湖仓版	通过SQLAlchemy导入DataFrame数据
		LOAD DATA	数仓版	通过LOAD DATA导入至数仓版
		导入工具	数仓版	通过导入工具导入至数仓版
		Kettle	数仓版	通过Kettle导入至数仓版

数据入湖

重要

仅适用于企业版、基础版或湖仓版集群。

类别	数据源	导入方式	文档链接
消息队列	Kafka	数据同步	通过数据同步功能同步Kafka数据（推荐）
日志类数据	日志服务（SLS）	数据同步	通过数据同步功能同步SLS数据（推荐）
大数据	Hive	数据迁移	Hive数据导入
存储	OSS	元数据发现	通过元数据发现导入数据

支持的数据源

概述

数据入仓

数据入湖

相关文档