场景描述

阿里云为了满足大数据场景下的存储需求,在云上推出了本地盘D1机型,这个系列提供了本地 盘而非云盘作为存储,提高了磁盘的吞吐能力, 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型,推出了一整套的自动化运维方案,帮助用户方便可靠地使用本地盘机型,不需要关注整个运维过程,同时保证数据的高可靠和服务的高可用。

解决问题

  • 云盘多份冗余数据导致成本高
  • 磁盘吞吐量不高
  • 节点的高可靠分布问题
  • 本地盘与节点的故障监控问题
  • 数据迁移时自动决策问题
  • 自动故障节点迁移与数据平衡问题

部署架构图

123123

选用的产品

  • E-MapReduce

    阿里云 E-MapReduce (EMR) 是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。

    更多关于E-MapReduce的介绍,参见E-MapReduce产品详情页

  • 专有网络VPC

    专有网络VPC帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。

    更多关于专有网络VPC的介绍,参见专有网络VPC产品详情页

详细信息

点击查看最佳实践详情

更多最佳实践

点击查看更多阿里云最佳实践