为了满足大数据场景下的存储需求,阿里云在云上推出了D1系列本地盘机型。

D1系列

D1系列使用本地盘而非云盘作为存储,解决了之前使用云盘产生多份冗余数据而导致的高成本问题。D1系列的数据传输不需要全部通过网络,这样不仅提高了磁盘的吞吐能力,还能发挥Hadoop的就近计算的优势。相较于云盘,本地盘机型提高了存储性能,降低了存储单价,成本与线下物理机相同。

本地盘机型存在一个问题,即数据可靠性问题。对于云盘,阿里云默认具有磁盘多备份策略,您完全感知不到磁盘的损坏,云盘可以自动保证数据的可靠性。对于本地盘,数据可靠性需要由上层的软件来保证,并且磁盘与节点故障也需要人工进行运维处理。

EMR+D1方案

针对本地盘机型(例如D1),E-MapReduce产品推出了一整套的自动化运维方案,帮助您方便可靠的使用本地盘机型。使您不需要关心整个运维的过程,同时还保证了数据高可靠和服务高可用。

自动化运维方案的主要点如下:
  • 强制节点的高可靠分布
  • 本地盘与节点的故障监控
  • 数据迁移时机自动决策
  • 自动的故障节点迁移与数据平衡
  • 自动的HDFS数据检测
  • 网络拓扑调优
通过整个后台的管控系统的自动化运维,E-MapReduce可以协助您更好的使用本地盘机型,实现高性价比的大数据系统。
说明 如需使用D1机型搭建Hadoop集群,请提交工单