使用Fuse-DFS挂载文件存储 HDFS 版

更新时间:
复制 MD 格式

本文主要介绍如何使用Fuse-DFS工具实现文件存储 HDFS 版在本地文件系统的映射。

前提条件

  • 已创建文件系统和添加挂载点。

  • 已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本为Apache Hadoop 2.8.5。

  • 已下载与Hadoop集群版本相同的Hadoop源码包。具体下载地址请参见下载Hadoop源码包。

背景信息

Fuse-DFS是Hadoop项目自带的一个功能模块,提供了使用FUSE(用户空间中的文件系统)在UNIX文件系统上映射HDFS的功能,在官方提供的Hadoop预编译版本中不包含Fuse-DFS的功能模块,如需使用该功能需要手动编译该功能模块并添加到Hadoop客户端中。Fuse-DFS官方文档请参见MountableHDFS。

说明
  • Fuse-DFS工具在阿里云文件存储HDFS版上使用时需要额外的配置。具体操作,请参见步骤二:配置Fuse-DFS。

  • 本示例以CentOS 7操作系统为例,进行配置和使用Fuse-DFS。

步骤一:Hadoop集群挂载文件存储 HDFS 版实例

在Hadoop集群中配置文件存储 HDFS 版实例。具体操作,请参见挂载文件存储 HDFS 版文件系统。

步骤二:配置Fuse-DFS

  1. 在Hadoop客户端上安装依赖并载入FUSE模块。

    1. 执行以下命令,安装依赖。

      yum -y install fuse fuse-devel fuse-libs
    2. 执行以下命令,载入FUSE模块。

      modprobe fuse
  2. 解压Hadoop源码包。

    tar -zxvf hadoop-2.8.5-src.tar.gz
  3. 修改代码并编译。

    使用Fuse-DFS挂载文件存储 HDFS 版到本地文件系统时,系统会将挂载点地址的前缀dfs://修改为hdfs:// ,导致挂载失败,因此需要修改代码重新编译,操作如下。

    1. 执行以下命令,打开fuse_options.c文件,并将#define NEW_HDFS_URI_LOCATION "hdfs://"修改为#define NEW_HDFS_URI_LOCATION "dfs://"。

      vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c

      将 NEW_HDFS_URI_LOCATION 的值由 dfs:// 修改为 hdfs://。

      #include <stdlib.h>
      
      #define OLD_HDFS_URI_LOCATION "dfs://"
      #define NEW_HDFS_URI_LOCATION "hdfs://"
      
      void print_options() {
        printf("options:\n"
               "\tprotected=%s\n"
               "\tserver=%s\n"
               "\tport=%d\n"
               "\tdebug=%d\n"
               "\tread_only=%d\n"
               "\tusetrash=%d\n"
               "\tentry_timeout=%d\n"
    2. 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。

      cd hadoop-2.8.5-src/
      mvn clean package -pl hadoop-hdfs-project/hadoop-hdfs-native-client -Pnative -DskipTests
      重要

      不同的Hadoop版本中子模块的hadoop-hdfs-native-client命名及位置可能不同 。在Hadoop 2.7.x版本中该模块包含在hadoop-hdfs-project/hadoop-hdfs子模块中,Hadoop 2.8.x及之后的版本都在模块hadoop-hdfs-project下。

  4. 配置Fuse-DFS。

    将编译出来的Fuse-DFS包拷贝到Hadoop客户端的bin目录下。示例命令如下:

    cp hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/target/main/native/fuse-dfs/fuse_dfs  ${HADOOP_HOME}/bin
  5. 为Hadoop客户端配置环境变量。

    1. 执行vim /etc/profile命令,打开配置文件,添加如下内容。

      export OS_ARCH=amd64
      export LD_LIBRARY_PATH=${JAVA_HOME}/jre/lib/${OS_ARCH}/server:${HADOOP_HOME}/lib/native
      export CLASSPATH=$CLASSPATH:`${HADOOP_HOME}/bin/hadoop classpath --glob`
    2. 执行以下命令使配置生效。

      source /etc/profile

步骤三:使用Fuse-DFS

  1. 创建目录。

    mkdir /mnt/dfs_mount
  2. 挂载文件存储 HDFS 版文件系统至本地文件系统。

    fuse_dfs dfs://f-xxxxx.cn-xxx.dfs.aliyuncs.com:10290/ /mnt/dfs_mount

    其中,dfs://f-xxxxx.cn-xxx.dfs.aliyuncs.com为您文件存储 HDFS 版的挂载点地址,请根据实际情况替换。

  3. 验证挂载结果。

    如果您在本地目录中可以查看文件存储HDFS版中的文件和目录,则表示挂载成功。

    [root@cluster-header-1 ~]# ls -l /mnt/
    total 4
    drwxrwxrwx 13 root root 4096 Dec  1 10:56 dfs_mount
    [root@cluster-header-1 ~]# ls -l /mnt/dfs_mount/
    total 44
    drwxrwxrwx   5 root root 4096 Nov  5 15:55 apps
    drwxrwxrwx   3 root root 4096 Nov 10 15:03 benchmarks
    drwxrwxrwx   3 root root 4096 Nov 10 17:26 dfs2oss
    drwxrwxrwx   4 root root 4096 Nov 11 16:53 flink-test
    drwxrwxrwx  14 root root 4096 Dec  1 11:22 hbase
    drwxrwxrwx  13 root root 4096 Nov  8 16:26 input
    drwxrwxrwx 207 root root 4096 Nov 11 10:37 oss2dfs
    drwxrwxrwx  13 root root 4096 Nov 25 14:14 output
    drwxrwxrwx   2 root root 4096 Nov 19 15:05 testsnapshot
    drwxrwxrwx  11 root root 4096 Dec  2 11:17 tmp
    drwxrwxrwx   5 root root 4096 Nov 15 11:07 user
    [root@cluster-header-1 ~]# hadoop fs -ls dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/opt/module/hadoop-2.8.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/opt/module/tez-0.9.2/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
    Found 11 items
    drwxrwxrwx   - root root          0 2021-11-05 15:55 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/apps
    drwxrwxrwx   - root root          0 2021-11-10 15:03 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/benchmarks
    drwxrwxrwx   - root root          0 2021-11-10 17:26 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/dfs2oss
    drwxrwxrwx   - root root          0 2021-11-11 16:53 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/flink-test
    drwxrwxrwx   - root root          0 2021-12-01 11:22 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/hbase
    drwxrwxrwx   - root root          0 2021-11-08 16:26 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/input
    drwxrwxrwx   - root root          0 2021-11-11 10:37 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/oss2dfs
    drwxrwxrwx   - root root          0 2021-11-25 14:14 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/output
    drwxrwxrwx   - root root          0 2021-11-19 15:05 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/testsnapshot
    drwxrwxrwx   - root root          0 2021-12-02 11:17 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/tmp
    drwxrwxrwx   - root root          0 2021-11-15 11:07 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/user
    重要

    客户端重启后,您需要重新挂载文件存储 HDFS 版文件系统到本地,建议您配置开机自动挂载。

  4. 挂载成功后,您可以在本地访问文件存储 HDFS 版文件系统,执行读取或写入操作。

    执行以下命令在已映射文件存储 HDFS 版文件系统的本地目录中创建文件,创建成功后,您可以在文件存储 HDFS 版文件系统上查看到该文件。

    cd /mnt/dfs_mount
    mkdir fuse_test
    echo "hello dfs" > fuse_test/fuse.txt
    [root@cluster-header-1 dfs_mount]# hadoop fs -cat dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/fuse_test/fuse.txt 2>/dev/null
    hello dfs
    [root@cluster-header-1 dfs_mount]#
  5. 可选:卸载挂载目录。

    fusermount -u /mnt/dfs_mount