阿里云为了满足大数据场景下的存储的需求,在云上推出了本地盘的机型:D1 系列。

D1 系列提供了本地盘而非云盘作为存储。解决了之前使用云盘产生多份冗余数据导致的成本高的问题,数据的传输不再需要全部通过网络,从而提高了磁盘的吞吐能力。同时还能发挥 Hadoop 的就近计算的优势。

相比于使用云盘的方式,本地盘机型极大的提高了存储性能,并降低了存储单价,达到和线下物理机几乎相同的成本。

本地盘机型在提供了大量的优势的情况下,也带来了一个问题:数据可靠性。对于云盘来说,由于有阿里云默认的磁盘多备份策略,所以用户完全感知不到磁盘的损坏,由云盘自动保证数据可靠。当使用了本地盘以后数据可靠性就需要由上层的软件来保证。同时,如果有磁盘与节点的故障情况,也需要进行人工的运维处理。

EMR + D1 方案

EMR 产品针对本地盘机型,如 D1,推出了一整套的自动化运维方案,帮助您方便可靠的使用本地盘机型,不需要关心整个运维的过程的同时,做到数据高可靠,服务高可用。

主要的一些点如:

  • 强制节点的高可靠分布
  • 本地盘与节点的故障监控
  • 数据迁移时机自动决策
  • 自动的故障节点迁移与数据平衡
  • 自动的 HDFS 数据检测
  • 网络拓扑调优
EMR 通过整个后台的管控系统的自动化运维,协助用户更好的使用本地盘机型,实现高性价比的大数据系统。
说明 如需使用 D1 机型搭建 Hadoop 集群,请工单联系我们协助操作。