支持的数据源

更新时间:

AnalyticDB for MySQL支持导入RDS MySQL、MongoDB、OSS、MaxCompute、Kafka等多种数据源至数据仓库或数据湖中,各数据源支持的导入方案也不同,您可以参考本文档,选择合适的导入方案。

概述

数据入仓和数据入湖的区别如下:

  • 数据入仓

    • 数据经过预处理后会导入数据仓库。

    • 数据仓库采用AnalyticDB for MySQL自研的玄武分析型存储引擎作为存储引擎,玄武分析型存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力,是AnalyticDB for MySQL实现高吞吐实时写入、高性能实时查询的基础支撑。

    • 数据入仓适用于对后续数据分析性能有较高要求的业务场景。

  • 数据入湖

    • 将原始数据以开源的Iceberg、Paimon等表格式导入至数据湖中。

    • 数据湖可以是AnalyticDB for MySQL提供的湖存储,也可以是您自有的OSS Bucket。数据湖具有开源开放的特点,数据格式为Iceberg、Paimon等开源表格式。数据湖中的数据除了可被AnalyticDB for MySQLSpark、XIHE引擎访问外,还可被外部引擎(例如:MaxCompute)直接访问。

    • 数据入湖适用于有开源开放需求且对分析性能要求不严格的业务场景。若对数据湖访问性能有要求,可以开通湖存储加速(LakeCache)来获得相对OSS更高的带宽和更低的延迟。

数据入仓

类别

数据源

导入方式

产品系列

文档链接

数据库

RDS MySQL

外表

数仓版

通过外表导入至数仓版

企业版、基础版或湖仓版

通过外表导入RDS MySQL数据

DTS

数仓版

通过DTS导入数据

企业版、基础版或湖仓版

通过DTS导入数据

DataWorks

数仓版

通过DataWorks导入数据

企业版、基础版或湖仓版

通过DataWorks导入数据

一键建仓

数仓版

通过一键建仓同步至数仓版

MySQL分析实例

数仓版

通过MySQL分析实例同步至数仓版

无感集成

企业版、基础版或湖仓版

通过无感集成(Zero-ETL)同步数据

RDS SQL Server

DTS

数仓版

通过DTS导入数据

企业版、基础版或湖仓版

通过DTS导入数据

DataWorks

数仓版

通过DataWorks导入数据

企业版、基础版或湖仓版

通过DataWorks导入数据

PolarDB分布式版(原DRDS)

DTS

数仓版

通过DTS导入数据

企业版、基础版或湖仓版

通过DTS导入数据

DataWorks

数仓版

通过DataWorks导入数据

企业版、基础版或湖仓版

通过DataWorks导入数据

一站式同步

企业版、基础版或湖仓版

自动同步PolarDB-X元数据

PolarDB MySQL

联邦分析

企业版、基础版或湖仓版

通过联邦分析功能同步数据

DTS

数仓版

通过DTS导入数据

企业版、基础版或湖仓版

通过DTS导入数据

一键建仓

数仓版

通过一键建仓同步至数仓版

无感集成

企业版、基础版或湖仓版

通过无感集成(Zero-ETL)同步数据

MongoDB

外表

企业版、基础版或湖仓版

通过外表导入至湖仓版

Lindorm

无感集成

企业版、基础版或湖仓版

Lindorm数据导入

Oracle

DataWorks

数仓版

Oracle数据导入

企业版、基础版或湖仓版

Oracle数据导入

自建MySQL

外表

数仓版

自建MySQL数据导入

自建HBase

DTS

数仓版

自建HBase数据导入

AnalyticDB for MySQL 2.0

迁移工具

数仓版

AnalyticDB for MySQL 2.0数据导入

存储

OSS

外表

数仓版

通过外表导入至数仓版

企业版、基础版或湖仓版

通过外表导入至湖仓版

DataWorks

数仓版

通过DataWorks导入数据

企业版、基础版或湖仓版

通过DataWorks导入数据

表格存储(Tablestore)

外表

企业版、基础版或湖仓版

查询并导入Tablestore数据

HDFS

外表

数仓版

通过外表导入至数仓版

DataWorks

数仓版

通过DataWorks导入

企业版、基础版或湖仓版

通过DataWorks导入

大数据

MaxCompute

外表

数仓版

通过外表导入至数仓版

企业版、基础版或湖仓版

通过外表导入至湖仓版

DataWorks

数仓版

通过DataWorks导入

企业版、基础版或湖仓版

通过DataWorks导入

Flink

Flink

数仓版

Flink数据导入

消息队列

Kafka

Logstash插件

数仓版

通过Logstash导入数仓版

DataWorks

数仓版

通过DataWorks导入数据

企业版、基础版或湖仓版

通过DataWorks导入数据

日志类数据

日志数据

一键建仓

数仓版

通过一键建仓同步至数仓版

Logstash插件

数仓版

通过Logstash导入数仓版

日志服务

数仓版

通过日志服务导入至数仓版

数据同步

企业版、基础版或湖仓版

通过数据同步功能同步SLS数据至数仓版

数据同步

企业版、基础版或湖仓版

通过数据同步功能同步SLS数据至湖仓版

本地数据

LOAD DATA

数仓版

通过LOAD DATA导入至数仓版

导入工具

数仓版

通过导入工具导入至数仓版

Kettle

数仓版

通过Kettle导入至数仓版

数据入湖

重要

仅适用于企业版、基础版或湖仓版集群。

类别

数据源

导入方式

文档链接

消息队列

Kafka

数据同步

通过数据同步功能同步Kafka数据(推荐)

日志类数据

日志服务(SLS)

数据同步

通过数据同步功能同步SLS数据(推荐)

大数据

Hive

数据迁移

Hive数据导入

存储

OSS

元数据发现

通过元数据发现导入数据

相关文档

AnalyticDB for MySQL也支持通过异步方式提交数据导入任务,详情请参见异步提交导入任务