全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
MaxCompute

数据上云场景

更新时间:2017-09-27 22:09:11

利用 MaxCompute 平台的 数据上传/下载工具,可以广泛用于各种数据上云的应用场景,本文将介绍几种常见的经典场景。

Hadoop 数据迁移

Hadoop 数据迁移有两种可选的工具,分别是 Sqoop 和大数据开发套件。

  • Sqoop 执行时,会在原来的 Hadoop 集群上执行 MR 作业,可以分布式地将数据传输到 MaxCompute 上,效率会比较高,详情请参见 Sqoop 工具的介绍。

  • 使用大数据开发套件结合 DataX 进行 Hadoop 数据迁移的示例请参见 Hadoop 数据迁移新手教程

数据库数据同步

数据库数据同步到 MaxCompute 需要根据数据库的类型和同步策略来选择相应的工具。

  • 离线批量的数据库数据同步:可以选择大数据开发套件,支持的数据库种类比较丰富,有 MySQL、SQL Server、PostgreSQL 等,详情请参见 数据同步简介,您也可以参考 创建同步任务 进行实例操作。

  • Oracle 数据库数据实时同步时,可以选择 OGG 插件工具。

  • RDS 数据库数据实时同步时,可以选择 DTS 同步。

日志采集

日志采集时,您可以选用 Flume、Flunted、LogStash 等工具。具体场景示例请参见 Flume 收集网站日志数据到 MaxCompute海量日志数据分析与应用

本文导读目录