支持的数据源
AnalyticDB for MySQL支持导入RDS MySQL、MongoDB、OSS、MaxCompute、Kafka等多种数据源至数据仓库或数据湖中,各数据源支持的导入方案也不同,您可以参考本文档,选择合适的导入方案。
概述
数据入仓和数据入湖的区别如下:
数据入仓:
数据经过预处理后会导入数据仓库。
数据仓库采用AnalyticDB for MySQL自研的玄武分析型存储引擎作为存储引擎,玄武分析型存储引擎为用户提供高可靠、高可用、高性能、低成本的企业级数据存储能力,是AnalyticDB for MySQL实现高吞吐实时写入、高性能实时查询的基础支撑。
数据入仓适用于对后续数据分析性能有较高要求的业务场景。
数据入湖:
将原始数据以开源的Iceberg、Paimon等表格式导入至数据湖中。
数据湖可以是AnalyticDB for MySQL提供的湖存储,也可以是您自有的OSS Bucket。数据湖具有开源开放的特点,数据格式为Iceberg、Paimon等开源表格式。数据湖中的数据除了可被AnalyticDB for MySQL的Spark、XIHE引擎访问外,还可被外部引擎(例如:MaxCompute)直接访问。
数据入湖适用于有开源开放需求且对分析性能要求不严格的业务场景。若对数据湖访问性能有要求,可以开通湖存储加速(LakeCache)来获得相对OSS更高的带宽和更低的延迟。
数据入仓
类别 | 数据源 | 导入方式 | 产品系列 | 文档链接 |
数据库 | RDS MySQL | 外表 | 数仓版 | |
企业版、基础版或湖仓版 | ||||
DTS | 数仓版 | |||
企业版、基础版或湖仓版 | ||||
DataWorks | 数仓版 | |||
企业版、基础版或湖仓版 | ||||
一键建仓 | 数仓版 | |||
MySQL分析实例 | 数仓版 | |||
无感集成 | 企业版、基础版或湖仓版 | |||
RDS SQL Server | DTS | 数仓版 | ||
企业版、基础版或湖仓版 | ||||
DataWorks | 数仓版 | |||
企业版、基础版或湖仓版 | ||||
PolarDB分布式版(原DRDS) | DTS | 数仓版 | ||
企业版、基础版或湖仓版 | ||||
DataWorks | 数仓版 | |||
企业版、基础版或湖仓版 | ||||
一站式同步 | 企业版、基础版或湖仓版 | |||
PolarDB MySQL | 联邦分析 | 企业版、基础版或湖仓版 | ||
DTS | 数仓版 | |||
企业版、基础版或湖仓版 | ||||
一键建仓 | 数仓版 | |||
无感集成 | 企业版、基础版或湖仓版 | |||
MongoDB | 外表 | 企业版、基础版或湖仓版 | ||
Lindorm | 无感集成 | 企业版、基础版或湖仓版 | ||
Oracle | DataWorks | 数仓版 | ||
企业版、基础版或湖仓版 | ||||
自建MySQL | 外表 | 数仓版 | ||
自建HBase | DTS | 数仓版 | ||
AnalyticDB for MySQL 2.0版 | 迁移工具 | 数仓版 | ||
存储 | OSS | 外表 | 数仓版 | |
企业版、基础版或湖仓版 | ||||
DataWorks | 数仓版 | |||
企业版、基础版或湖仓版 | ||||
表格存储(Tablestore) | 外表 | 企业版、基础版或湖仓版 | ||
HDFS | 外表 | 数仓版 | ||
DataWorks | 数仓版 | |||
企业版、基础版或湖仓版 | ||||
大数据 | MaxCompute | 外表 | 数仓版 | |
企业版、基础版或湖仓版 | ||||
DataWorks | 数仓版 | |||
企业版、基础版或湖仓版 | ||||
Flink | Flink | 数仓版 | ||
消息队列 | Kafka | Logstash插件 | 数仓版 | |
DataWorks | 数仓版 | |||
企业版、基础版或湖仓版 | ||||
日志类数据 | 日志数据 | 一键建仓 | 数仓版 | |
Logstash插件 | 数仓版 | |||
日志服务 | 数仓版 | |||
数据同步 | 企业版、基础版或湖仓版 | |||
数据同步 | 企业版、基础版或湖仓版 | |||
本地数据 | LOAD DATA | 数仓版 | ||
导入工具 | 数仓版 | |||
Kettle | 数仓版 |
数据入湖
仅适用于企业版、基础版或湖仓版集群。
类别 | 数据源 | 导入方式 | 文档链接 |
消息队列 | Kafka | 数据同步 | |
日志类数据 | 日志服务(SLS) | 数据同步 | |
大数据 | Hive | 数据迁移 | |
存储 | OSS | 元数据发现 |
相关文档
AnalyticDB for MySQL也支持通过异步方式提交数据导入任务,详情请参见异步提交导入任务。