为了满足大数据场景下的存储需求,阿里云在云上推出了 D1 系列本地盘机型。

D1 系列

D1 系列使用本地盘而非云盘作为存储,解决了之前使用云盘产生多份冗余数据而导致的高成本问题。D1 系列的数据传输不需要全部通过网络,提高了磁盘的吞吐能力,同时还能发挥 Hadoop 的就近计算的优势。相比于云盘,本地盘机型极大的提高了存储性能,降低了存储单价,成本几乎与线下物理机相同。

在有大量优势的同时,本地盘机型也存在一个问题,即数据可靠性问题。对于云盘,阿里云默认具有磁盘多备份策略,您完全感知不到磁盘的损坏,云盘可自动保证数据可靠。对于本地盘,数据可靠性需要由上层的软件来保证,并且磁盘与节点故障也需要人工进行运维处理。

EMR + D1 方案

针对本地盘机型(例如 D1),E-MapReduce 产品推出了一整套的自动化运维方案,帮助您方便可靠的使用本地盘机型,使您不需要关心整个运维的过程,同时还保证了数据高可靠和服务高可用。

自动化运维方案的主要点如下:

  • 强制节点的高可靠分布
  • 本地盘与节点的故障监控
  • 数据迁移时机自动决策
  • 自动的故障节点迁移与数据平衡
  • 自动的 HDFS 数据检测
  • 网络拓扑调优
通过整个后台的管控系统的自动化运维,E-MapReduce 可协助您更好的使用本地盘机型,实现高性价比的大数据系统。
说明 如需使用 D1 机型搭建 Hadoop 集群,请工单联系我们协助操作。