本文介绍挂载及卸载文件存储HDFS版文件系统的操作。

前提条件

  • 已为ECS实例安装JDK,且JDK版本不低于1.8。
  • 已创建文件系统并添加挂载点。具体操作,请参见创建文件系统添加挂载点
  • 已安装Hadoop客户端,建议您使用的Hadoop版本不低于2.7.2。

挂载说明

如果挂载点网络类型是专有网络,则只支持与挂载点同一VPC网络的ECS实例挂载文件系统,且挂载点所绑定的权限组中授权地址必须包含ECS实例的VPC IP地址。

挂载文件系统

  1. 连接ECS实例。连接方式,请参见连接ECS实例
  2. 配置core-site.xml。
    1. 执行如下命令打开core-site.xml文件。
      vim /usr/local/hadoop-x.y.z/etc/hadoop/core-site.xml

      其中,x.y.z为Hadoop版本号,请根据实际替换。

    2. core-site.xml文件中,配置如下信息。
      <property>
           <name>fs.defaultFS</name>
           <value>dfs://f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com:10290</value>
      </property>
      <property>
           <name>fs.dfs.impl</name>
           <value>com.alibaba.dfs.DistributedFileSystem</value>
      </property>
      <property>
           <name>fs.AbstractFileSystem.dfs.impl</name>
           <value>com.alibaba.dfs.DFS</value>
      </property>

      其中,f-xxxxxxxx.cn-xxxxx.dfs.aliyuncs.com为文件存储HDFS版挂载点地址,请根据实际情况替换。

      注意 如果fs.defaultFS属性的<value>值中包含hdfs://,请将其相应替换为dfs://
    3. 可选:调整core-site.xml配置,优化集群性能(例如,io.file.buffer.sizedfs.connection.count等),示例如下。更多有关文件存储HDFS版性能优化方法,请参见性能优化最佳实践
      <property>
           <name>io.file.buffer.size</name>
           <value>4194304</value>
           <description>To achieve high throughput, no less than 1MB, no more than 8MB</description>
      </property>
      <property>
           <name>dfs.connection.count</name> 
           <value>1</value>
           <description>If multi threads in the same process will read/write to DFS, set to count of threads</description>
      </property>
    4. core-site.xml文件同步到所有依赖hadoop-common的节点上。
  3. 部署文件存储HDFS版Java SDK。
    1. 下载最新的文件存储HDFS版Java SDK
    2. 将下载的文件存储HDFS版Java SDK部署到Hadoop生态系统组件的CLASSPATH路径下(推荐部署在hadoop-common-x.y.x.jar目录中)。
      说明 Hadoop版本不低于2.7.2。
  4. 使用hadoop fs命令行工具,执行hadoop fs -ls /命令验证部署,如下图所示。
    命令验证

    如果未报错,则部署成功。

卸载文件系统

确认不在使用文件存储HDFS版后,您可以直接删除在控制台上创建的挂载点并将core-site.xml文件中配置的挂载点地址修改为目标存储介质。
注意 挂载点删除后无法恢复,删除时请务必谨慎操作。