本文对MaxCompute系统数据的上传和下载进行概述,包括服务连接、SDK、工具和数据上云场景。

总的来说,您可以通过DataHub实时数据通道和Tunnel批量数据通道两种途径进出MaxCompute系统。DataHub和Tunnel各自都提供了SDK,而基于这些SDK又衍生了许多用于数据上传/下载的工具,方便您在各种场景下的数据进行上传/下载的需求。

数据上传/下载的工具主要包括:DataWorks、DTS、OGG插件、Sqoop、Flume插件、LogStash插件、Fluentd插件、Kettle插件以及MaxCompute客户端等。

上述工具使用的底层数据通道,分类如下:
  • DataHub通道系列
    • OGG插件
    • Flume插件
    • LogStash插件
    • Fluentd插件
  • Tunnel通道系列
    • DataWorks
    • DTS
    • Sqoop
    • Kettle插件
    • MaxCompute客户端

基于上述丰富的数据上传/下载的工具,可以满足大部分常见的数据上云场景,后续的章节会对工具本身以及Hadoop数据迁移、数据库数据同步、日志采集等数据上云的场景进行介绍,为您进行技术方案选型时提供参考。