本文主要介绍如何使用Fuse-DFS工具实现文件存储 HDFS 版在本地文件系统的映射。
前提条件
已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本为Apache Hadoop 2.8.5。
已下载与Hadoop集群版本相同的Hadoop源码包。具体下载地址请参见下载Hadoop源码包。
背景信息
Fuse-DFS是Hadoop项目自带的一个功能模块,提供了使用FUSE(用户空间中的文件系统)在UNIX文件系统上映射HDFS的功能,在官方提供的Hadoop预编译版本中不包含Fuse-DFS的功能模块,如需使用该功能需要手动编译该功能模块并添加到Hadoop客户端中。Fuse-DFS官方文档请参见MountableHDFS。
Fuse-DFS工具在阿里云文件存储HDFS版上使用时需要额外的配置。具体操作,请参见步骤二:配置Fuse-DFS。
本示例以CentOS 7操作系统为例,进行配置和使用Fuse-DFS。
步骤一:Hadoop集群挂载文件存储 HDFS 版实例
在Hadoop集群中配置文件存储 HDFS 版实例。具体操作,请参见挂载文件存储 HDFS 版文件系统。
步骤二:配置Fuse-DFS
在Hadoop客户端上安装依赖并载入FUSE模块。
执行以下命令,安装依赖。
yum -y install fuse fuse-devel fuse-libs执行以下命令,载入FUSE模块。
modprobe fuse
解压Hadoop源码包。
tar -zxvf hadoop-2.8.5-src.tar.gz修改代码并编译。
使用Fuse-DFS挂载文件存储 HDFS 版到本地文件系统时,系统会将挂载点地址的前缀
dfs://修改为hdfs://,导致挂载失败,因此需要修改代码重新编译,操作如下。执行以下命令,打开fuse_options.c文件,并将
#define NEW_HDFS_URI_LOCATION "hdfs://"修改为#define NEW_HDFS_URI_LOCATION "dfs://"。vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c将
NEW_HDFS_URI_LOCATION的值由dfs://修改为hdfs://。#include <stdlib.h> #define OLD_HDFS_URI_LOCATION "dfs://" #define NEW_HDFS_URI_LOCATION "hdfs://" void print_options() { printf("options:\n" "\tprotected=%s\n" "\tserver=%s\n" "\tport=%d\n" "\tdebug=%d\n" "\tread_only=%d\n" "\tusetrash=%d\n" "\tentry_timeout=%d\n"执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。
cd hadoop-2.8.5-src/ mvn clean package -pl hadoop-hdfs-project/hadoop-hdfs-native-client -Pnative -DskipTests重要不同的Hadoop版本中子模块的hadoop-hdfs-native-client命名及位置可能不同 。在Hadoop 2.7.x版本中该模块包含在hadoop-hdfs-project/hadoop-hdfs子模块中,Hadoop 2.8.x及之后的版本都在模块hadoop-hdfs-project下。
配置Fuse-DFS。
将编译出来的Fuse-DFS包拷贝到Hadoop客户端的bin目录下。示例命令如下:
cp hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/target/main/native/fuse-dfs/fuse_dfs ${HADOOP_HOME}/bin为Hadoop客户端配置环境变量。
执行
vim /etc/profile命令,打开配置文件,添加如下内容。export OS_ARCH=amd64 export LD_LIBRARY_PATH=${JAVA_HOME}/jre/lib/${OS_ARCH}/server:${HADOOP_HOME}/lib/native export CLASSPATH=$CLASSPATH:`${HADOOP_HOME}/bin/hadoop classpath --glob`执行以下命令使配置生效。
source /etc/profile
步骤三:使用Fuse-DFS
创建目录。
mkdir /mnt/dfs_mount挂载文件存储 HDFS 版文件系统至本地文件系统。
fuse_dfs dfs://f-xxxxx.cn-xxx.dfs.aliyuncs.com:10290/ /mnt/dfs_mount其中,
dfs://f-xxxxx.cn-xxx.dfs.aliyuncs.com为您文件存储 HDFS 版的挂载点地址,请根据实际情况替换。验证挂载结果。
如果您在本地目录中可以查看文件存储HDFS版中的文件和目录,则表示挂载成功。
[root@cluster-header-1 ~]# ls -l /mnt/ total 4 drwxrwxrwx 13 root root 4096 Dec 1 10:56 dfs_mount [root@cluster-header-1 ~]# ls -l /mnt/dfs_mount/ total 44 drwxrwxrwx 5 root root 4096 Nov 5 15:55 apps drwxrwxrwx 3 root root 4096 Nov 10 15:03 benchmarks drwxrwxrwx 3 root root 4096 Nov 10 17:26 dfs2oss drwxrwxrwx 4 root root 4096 Nov 11 16:53 flink-test drwxrwxrwx 14 root root 4096 Dec 1 11:22 hbase drwxrwxrwx 13 root root 4096 Nov 8 16:26 input drwxrwxrwx 207 root root 4096 Nov 11 10:37 oss2dfs drwxrwxrwx 13 root root 4096 Nov 25 14:14 output drwxrwxrwx 2 root root 4096 Nov 19 15:05 testsnapshot drwxrwxrwx 11 root root 4096 Dec 2 11:17 tmp drwxrwxrwx 5 root root 4096 Nov 15 11:07 user [root@cluster-header-1 ~]# hadoop fs -ls dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/ SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/module/hadoop-2.8.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/module/tez-0.9.2/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] Found 11 items drwxrwxrwx - root root 0 2021-11-05 15:55 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/apps drwxrwxrwx - root root 0 2021-11-10 15:03 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/benchmarks drwxrwxrwx - root root 0 2021-11-10 17:26 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/dfs2oss drwxrwxrwx - root root 0 2021-11-11 16:53 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/flink-test drwxrwxrwx - root root 0 2021-12-01 11:22 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/hbase drwxrwxrwx - root root 0 2021-11-08 16:26 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/input drwxrwxrwx - root root 0 2021-11-11 10:37 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/oss2dfs drwxrwxrwx - root root 0 2021-11-25 14:14 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/output drwxrwxrwx - root root 0 2021-11-19 15:05 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/testsnapshot drwxrwxrwx - root root 0 2021-12-02 11:17 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/tmp drwxrwxrwx - root root 0 2021-11-15 11:07 dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/user重要客户端重启后,您需要重新挂载文件存储 HDFS 版文件系统到本地,建议您配置开机自动挂载。
挂载成功后,您可以在本地访问文件存储 HDFS 版文件系统,执行读取或写入操作。
执行以下命令在已映射文件存储 HDFS 版文件系统的本地目录中创建文件,创建成功后,您可以在文件存储 HDFS 版文件系统上查看到该文件。
cd /mnt/dfs_mountmkdir fuse_testecho "hello dfs" > fuse_test/fuse.txt[root@cluster-header-1 dfs_mount]# hadoop fs -cat dfs://f-xxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/fuse_test/fuse.txt 2>/dev/null hello dfs [root@cluster-header-1 dfs_mount]#可选:卸载挂载目录。
fusermount -u /mnt/dfs_mount