HDFS
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景。
特性
E-MapReduce集群中HDFS的优势如下：
具有高容错性和高可扩展性。
提供Shell命令接口。
提供Web可视化组件管理界面，方便管理。
拥有类似于Linux的文件权限管理。
Locality感知，在分配存储空间时会考虑计算节点的位置。
当DataNode之间数据不平衡时，可以进行Rebalance操作。
支持滚动重启和升级操作。
架构
HDFS是经典的Master和Slave架构，每一个HDFS集群包括一个NameNode和多个DataNode。
NameNode管理所有文件的元数据信息，并且负责与客户端交互。DataNode负责管理存储在该节点上的文件。每一个上传到HDFS的文件都会被划分为一个或多个数据块，这些数据块根据HDFS集群的数据备份策略被分配到不同的DataNode上，位置信息交由NameNode统一管理。
基本概念
名称 | 描述 |
NameNode | 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息，记录写入的每个数据块（Block）与其归属文件的对应关系。 此信息以命名空间镜像（FSImage）和编辑日志（EditsLog）两种形式持久化在本地磁盘中。 |
DataNode | DataNode是文件的实际存放位置。 DataNode会根据NameNode或Client的指令来存储或者提供数据块，并且定期地向NameNode汇报该DataNode存储的数据块信息。 |
Client | 通过Client来访问文件系统，然后由Client与NameNode和DataNode进行通信。Client对外作为文件系统的接口，类似于POSIX。 |
Blocks | HDFS将文件拆分成128 MB大小的数据块进行存储，这些Block可能存储在不同的节点上。HDFS可以存储更大的单个文件，甚至超过任何一个磁盘所能容纳的大小。一个Block默认存储3个副本（EMR Core节点如果使用云盘，则为2副本），以Block为粒度将副本存储在多个节点上。此方式不仅提高了数据的安全性，而且对于分布式作业可以更好地利用本地的数据进行计算，减少网络传输。 |
Secondary NameNode | 对于非高可用集群，默认会启动一个Secondary NameNode进程。Secondary NameNode的作用是消费EditsLog，定期的合并FsImage和EditsLog，生成新的FsImage文件，降低了NameNode的压力。 |
高可用 | 对于高可用集群，默认会启动两个NameNode，一个是Active NameNode，另一个是Standby NameNode，两个NameNode承担不同角色。 Active NameNode负责处理DataNode和Client的请求，Standby NameNode跟Active NameNode一样拥有最新的元数据信息，随时准备在Active NameNode出现异常时接管其服务。如果Active NameNode异常，Standby NameNode会感知到并切换成Active NameNode的角色处理DataNode和Client请求。 |