全部产品
MaxCompute

概述

更新时间:2017-06-07 13:26:11   分享:   

本节是对MaxCompute系统的数据上传下载的一个综述,包含了服务连接,SDK,工具,数据上云场景几个模块。

总的来说,进出MaxCompute系统的途径可以分为两类,分别是DataHub实时数据通道和Tunnel批量数据通道。DataHub和Tunnel各自都提供了SDK,而基于这些SDK又衍生了许多用于数据上传下载的工具,方便用户各种场景下的数据上传下载需求。

数据上传下载的工具主要包括:大数据开发套件, DTS, OGG插件, Sqoop, Flume插件, LogStash插件, Flunted插件, Kettle插件以及MaxCompute客户端等。从这些工具使用的底层数据通道分类如下:

  • DataHub通道系列

    • OGG插件
    • Flume插件
    • LogStash插件
    • Flunted插件
  • Tunnel通道系列

    • 大数据开发套件
    • DTS
    • Sqoop
    • Kettle插件
    • MaxCompute客户端

基于上述丰富的数据上传下载工具,大部分常见的数据上云场景都可以得到满足,后续的章节会对工具本身以及Hadoop数据迁移,数据库数据同步,日志采集等数据上云的场景进行介绍,为用户在做技术方案选型时提供参考。

本文导读目录
本文导读目录
以上内容是否对您有帮助?