全部产品
MaxCompute

数据上云场景

更新时间:2017-06-07 13:26:11   分享:   

利用 MaxCompute 平台的 数据上传下载工具,可以广泛用于各种数据上云的应用场景,下面将对将对比较常用的几种经典场景进行介绍 。

Hadoop 数据迁移

Hadoop 数据迁移有两种可选的工具,分别是 Sqoop 和大数据开发套件 。

  • Sqoop 执行时会在原来的 Hadoop 集群上执行 MR 作业,可以分布式地将数据传输到 MaxCompute 上,效率会比较高,具体使用可以参考 Sqoop 工具的介绍 。
  • 使用大数据开发套件结合 DataX 进行 Hadoop 数据迁移的示例可以参考云栖文章:《Hadoop 数据迁移新手教程》

数据库数据同步

数据库数据同步到 MaxCompute 需要根据数据库的类型和同步策略来选择相应的工具:

  • 离线批量的数据库数据同步,可以选择大数据开发套件,支持的数据库种类比较丰富,有 MySQL、SQL Server、PostgreSQL 等,详情请参见:数据同步简介,您也可以参考 创建数据同步任务 进行实例操作;
  • Oracle 数据库数据实时同步,可以选择 OGG 插件工具;
  • RDS 数据库数据实时同步,可以选择 DTS 同步 。

日志采集

日志采集可以选用 Flume、Flunted、LogStash 等工具 。具体场景示例可以参考云栖社区文章:《Flume 收集网站日志数据到 MaxCompute》《海量日志数据分析与应用》

本文导读目录
本文导读目录
以上内容是否对您有帮助?