全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
MaxCompute

数据上传/下载概述

更新时间:2017-09-27 13:52:35

本文对 MaxCompute 系统数据的上传和下载进行概述,包括服务连接、SDK、工具和数据上云场景。

总的来说,您可以通过 DataHub 实时数据通道和 Tunnel 批量数据通道两种途径进出 MaxCompute 系统。DataHub 和 Tunnel 各自都提供了 SDK,而基于这些 SDK 又衍生了许多用于数据上传/下载的工具,方便您在各种场景下的数据进行上传/下载的需求。

数据上传/下载的工具主要包括:大数据开发套件,DTS,OGG 插件,Sqoop,Flume 插件,LogStash 插件,Flunted 插件,Kettle 插件以及 MaxCompute 客户端等。

上述工具使用的底层数据通道,分类如下:

  • DataHub 通道系列

    • OGG 插件
    • Flume 插件
    • LogStash 插件
    • Flunted 插件
  • Tunnel 通道系列

    • 大数据开发套件
    • DTS
    • Sqoop
    • Kettle 插件
    • MaxCompute 客户端

基于上述丰富的数据上传/下载的工具,可以满足大部分常见的数据上云场景,后续的章节会对工具本身以及 Hadoop 数据迁移,数据库数据同步,日志采集等数据上云的场景进行介绍,为您在做技术方案选型时提供参考。

本文导读目录