MaxCompute平台支持丰富的数据上传和下载工具(其中大部分工具已经在GitHub公开源代码,以开源社区的方式进行维护)。根据实际应用场景,可以选择合适的工具上传和下载数据。
阿里云数加产品
MaxCompute客户端(Tunnel通道系列)
说明该项目已经开源,可进入aliyun-odps-console查看 。
DataWorks数据集成(Tunnel通道系列)
DataWorks数据集成(即数据同步),是一个稳定高效、弹性伸缩的数据同步平台,致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。
其中数据同步任务支持的数据源类型包括:MaxCompute、RDS(MySQL、SQL Server、PostgreSQL)、Oracle、FTP、ADS(AnalyticDB)、OSS、Memcache和DRDS。
DTS(Tunnel通道系列)
数据传输服务DTS是阿里云提供的一种支持RDBMS(关系型数据库)、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输功能。
DTS可以支持RDS、MySQL实例的数据实时同步到MaxCompute表中,暂不支持将其他数据源类型的数据同步至MaxCompute。详情请参见创建RDS到MaxCompute数据实时同步作业。
MMS(MaxCompute Migration Service)迁移工具
MaxCompute数据迁移服务MMS支持将多种数据源的数据迁移至MaxCompute,是一个适用于整站、大批量数据的搬迁场景的云上托管迁移服务。MMS通过与MaxCompute Spark引擎集成,可以自动迁移表结构与数据,支持多种数据源(BigQuery、Hive、DataBricks、Redshift、MaxCompute) 到MaxCompute的大规模数据迁移。详情请参考 迁移服务(MMS)
开源产品
Sqoop(Tunnel通道系列)
Sqoop基于社区Sqoop 1.4.6版本开发,增强了对MaxCompute的支持,可以将数据从MySQL等关系数据库导入或导出到MaxCompute表中,也可以从HDFS或Hive导入数据到MaxCompute表中。详情请参见MaxCompute Sqoop。
说明该项目已经开源,可进入aliyun-maxcompute-data-collectors查看。
Kettle(Tunnel通道系列)
Kettle是一款开源的ETL工具,纯Java实现,可以在Windows、Unix和Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑 。详情请参见基于Kettle的MaxCompute插件实现数据上云。
说明该项目已经开源,可进入aliyun-maxcompute-data-collectors查看。
Flume(DataHub通道系列)
Apache Flume是一个分布式的、可靠的、可用的系统,可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。
Apache Flume的DataHub Sink插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。详情请参见flume_plugin。
说明该项目已经开源,可进入aliyun-maxcompute-data-collectors查看。
Fluentd(DataHub通道系列)
Fluentd是一个开源的软件,用来收集各种源头日志(包括Application Log、Sys Log及Access Log),允许选择插件对日志数据过滤,并存储到不同的数据处理端(包括MySQL、Oracle、MongoDB、Hadoop、Treasure Data等)。
Fluentd的DataHub插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。详情请参见 Fluentd插件介绍。
LogStash(DataHub通道系列)
Logstash是一款开源日志收集处理框架,logstash-output-datahub插件实现了将数据导入DataHub的功能。通过简单的配置即可完成数据的采集和传输,结合MaxCompute和StreamCompute可以轻松构建流式数据从采集到分析的一站式解决方案。
Logstash的DataHub插件可以将日志数据实时上传到DataHub,并归档到MaxCompute表中。
OGG(DataHub通道系列)
OGG的DataHub插件可以支持将Oracle数据库的数据实时地以增量方式同步到DataHub中,并最终归档到MaxCompute表中。详情请参见基于OGG DataHub插件将Oracle数据同步上云。
说明该项目已经开源,可进入aliyun-maxcompute-data-collectors查看。