全部产品
云数据库 RDS 版

基于MaxCompute的大数据计算

更新时间:2017-06-07 13:26:11   分享:   

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。通过数据集成服务,可将 RDS 数据导入 MaxCompute,实现大规模的数据计算。下面以 MaxCompute 和 RDS 搭配为例介绍大数据计算方案。

前提条件

  • 已开通 MaxCompute 服务,并完成项目设置
  • 已开通数据集成服务

操作步骤

  1. 登录 RDS 管理控制台,选择目标实例。

  2. 在 RDS 实例上增加数据集成的白名单。

    1. CDP 白名单:
    2. 10.152.69.0/25
    3. 10.153.136.0/25
    4. 10.143.32.77
    5. 10.143.32.78
  3. 登录 MaxCompute 管理控制台,创建 MaxCompute 数据表。

    更多 MaxCompute 操作请参见 大数据计算服务 MaxCompute 产品文档

    创建 ODPS 数据表

  4. 登录 数据集成管理控制台,设置 RDS 源库和 MaxCompute 目标库信息。

    更多数据集成操作请参见 数据集成 产品文档

    数据集成库信息

  5. 设置数据集成同步字段。

    数据集成同步字段

  6. 设置数据集成速度与出错控制。

    数据集成速度

  7. 完成设置后,将数据导入 MaxCompute。

  8. 登录 MaxCompute 管理控制台,执行查询操作,如下图所示。

    执行查询

本文导读目录
本文导读目录
以上内容是否对您有帮助?