使用Fuse-DFS挂载文件存储HDFS版

步骤一：Hadoop集群挂载文件存储HDFS版实例

在Hadoop集群中配置文件存储HDFS版实例。具体操作，请参见挂载HDFS文件系统。

步骤二：配置Fuse-DFS

1. 在Hadoop客户端上安装依赖并载入FUSE模块。
   1. 执行以下命令，安装依赖。

      yum -y install fuse fuse-devel fuse-libs

   2. 执行以下命令，载入FUSE模块。

      modprobe fuse

2. 解压Hadoop源码包。

   tar -zxvf hadoop-2.8.5-src.tar.gz

3. 修改代码并编译。

   使用Fuse-DFS挂载文件存储HDFS版到本地文件系统时，系统会将挂载点地址的前缀dfs://修改为hdfs:// ，导致挂载失败，因此需要修改代码重新编译，操作如下。

   1. 执行以下命令，打开fuse_options.c文件，并将#define NEW_HDFS_URI_LOCATION "hdfs://"修改为#define NEW_HDFS_URI_LOCATION "dfs://"。

      vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c

      
   2. 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。

      cd hadoop-2.8.5-src/
      mvn clean package -pl hadoop-hdfs-project/hadoop-hdfs-native-client -Pnative -DskipTests

      重要 不同的Hadoop版本中子模块的hadoop-hdfs-native-client命名及位置可能不同 。在Hadoop 2.7.x版本中该模块包含在hadoop-hdfs-project/hadoop-hdfs子模块中，Hadoop 2.8.x及之后的版本都在模块hadoop-hdfs-project下。
4. 配置Fuse-DFS。

   将编译出来的Fuse-DFS包拷贝到Hadoop客户端的bin目录下。示例命令如下：

   cp hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/target/main/native/fuse-dfs/fuse_dfs  ${HADOOP_HOME}/bin

5. 为Hadoop客户端配置环境变量。
   1. 执行vim /etc/profile命令，打开配置文件，添加如下内容。

      export OS_ARCH=amd64
      export LD_LIBRARY_PATH=${JAVA_HOME}/jre/lib/${OS_ARCH}/server:${HADOOP_HOME}/lib/native
      export CLASSPATH=$CLASSPATH:`${HADOOP_HOME}/bin/hadoop classpath --glob`

   2. 执行以下命令使配置生效。

      source /etc/profile

步骤三：使用Fuse-DFS

1. 创建目录。

   mkdir /mnt/dfs_mount

2. 挂载文件存储HDFS版至本地文件系统。

   fuse_dfs dfs://f-xxxxx.cn-xxx.dfs.aliyuncs.com:10290/ /mnt/dfs_mount

   其中，dfs://f-xxxxx.cn-xxx.dfs.aliyuncs.com为您的文件存储HDFS版的挂载点地址，请根据实际情况替换。

3. 验证挂载结果。

   如果您在本地目录中可以查看文件存储HDFS版中的文件和目录，则表示挂载成功。

   
4. 挂载成功后，您可以在本地访问文件存储HDFS版，执行读取或写入操作。

   执行以下命令在已映射文件存储HDFS版的本地目录中创建文件，创建成功后，您可以在文件存储HDFS版上查看到该文件。

   cd /mnt/dfs_mount

   mkdir fuse_test

   echo "hello dfs" > fuse_test/fuse.txt

   
5. 卸载挂载目录。

   fusermount -u /mnt/dfs_mount