挂载文件存储 HDFS 版文件系统

挂载说明

如果挂载点网络类型是专有网络，则只支持与挂载点同一VPC网络的ECS实例挂载文件系统，且挂载点所绑定的权限组中授权地址必须包含ECS实例的VPC IP地址。

挂载文件系统

1. 连接ECS实例。连接方式，请参见连接ECS实例。

2. 配置core-site.xml。

   1. 执行如下命令打开core-site.xml文件。

      vim ${HADOOP_HOME}/etc/hadoop/core-site.xml

      如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。

      export HADOOP_HOME=/your/hadoop/installation/directory

   2. 在core-site.xml文件中，配置如下信息。

      <property>
           <name>fs.defaultFS</name>
           <value>dfs://f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com:10290</value>
      </property>
      <property>
           <name>fs.dfs.impl</name>
           <value>com.alibaba.dfs.DistributedFileSystem</value>
      </property>
      <property>
           <name>fs.AbstractFileSystem.dfs.impl</name>
           <value>com.alibaba.dfs.DFS</value>
      </property>

      其中，f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com为文件存储 HDFS 版挂载点地址，请根据实际情况替换。

   3. 可选：调整core-site.xml配置，优化集群性能。具体方法，请参见性能优化最佳实践。

   4. 将core-site.xml文件同步到所有节点上。

3. 部署文件存储 HDFS 版Java SDK。

   1. 下载最新的文件存储 HDFS 版Java SDK。

   2. 将下载的文件存储 HDFS 版Java SDK部署到HDFS组件的CLASSPATH路径下。

      cp aliyun-sdk-dfs-x.y.z.jar  ${HADOOP_HOME}/share/hadoop/hdfs

   3. 将文件存储 HDFS 版Java SDK同步到所有节点上。

4. 执行以下命令，验证挂载结果。

   • 执行命令

     ${HADOOP_HOME}/bin/hadoop fs -df

   • 返回示例

     如果返回如下类似信息，则表示挂载文件存储 HDFS 版文件系统成功。

     Filesystem                                                          Size  Used       Available  Use%
     dfs://f-e389e5c7e****.cn-hangzhou.dfs.aliyuncs.com:10290  10995116277760     0  10995116277760    0%
     22/09/20 14:19:04 INFO dfs.DistributedFileSystem: FileSystem close com.alibaba.dfs.DistributedFileSystem@51ee79a3
     22/09/20 14:19:04 INFO dfs.DfsClient: DfsClient close Client-6676663918471637276
     22/09/20 14:19:04 INFO common.LeaseRenewer: close all files being written
     22/09/20 14:19:04 INFO common.LeaseRenewer: LeaseRenwerForClient-6676663918471637276 closed

卸载文件系统

确认不再使用文件存储 HDFS 版文件系统后，您需要参考挂载文件系统中的内容，删除所有已部署的文件存储 HDFS 版Java SDK和所有core-site.xml文件中的文件存储 HDFS 版相关配置，完成卸载文件系统。

如果您想释放文件存储 HDFS 版文件系统实例，具体操作，请参见删除文件系统。