数据上云场景

Hadoop数据迁移

您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。

• 使用DataWorks结合DataX进行Hadoop数据迁移的示例请参见Hadoop数据迁移新手教程，或参见视频教程Hadoop数据迁移到MaxCompute最佳实践。

• Sqoop执行时，会在原来的Hadoop集群上执行MR作业，可以分布式地将数据传输到MaxCompute上，详情请参见Sqoop工具的介绍。

• MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详细信息请参见MMA概述。

数据库数据同步

数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。

• 离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见通过向导模式配置离线同步任务。您也可以参见创建同步任务进行实例操作。

• Oracle数据库数据实时同步时，可以选择OGG插件。

• RDS数据库数据实时同步时，可以选择DataWorks的数据集成，详情请参见配置数据源（来源为MySQL）。

日志采集

日志采集时，您可以选用Flume、Fluentd、Logstash等工具。具体场景示例请参见Flume收集网站日志数据到MaxCompute和海量日志数据分析与应用。