使用阿里云EMR和D1本地盘实例实现大数据分析集群架构以及大规模数据集测试。
直达最佳实践
更多最佳实践
场景描述
阿里云为了满足大数据场景下的存储需求，在云上推出了本地盘D1机型，这个系列提供了本地盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运维方案，帮助用户方便可靠地使用本地盘机型，不需要关注整个运维过程，同时保证数据的高可靠和服务的高可用。
解决问题
- 云盘多份冗余数据导致成本高
- 磁盘吞吐量不高
- 节点的高可靠分布问题
- 本地盘与节点的故障监控问题
- 数据迁移时自动决策问题
- 自动故障节点迁移与数据平衡问题
部署架构图
