通过开源HDFS客户端连接并使用文件引擎

前提条件

• 已安装Java环境，JDK版本不能低于1.7。

• 已设置环境变量，假设Java安装位置为/opt/install/java。

  JAVA_HOME=/opt/install/java
  PATH=/opt/install/java/bin:$PATH

• 访问文件引擎的节点需要加入Lindorm白名单，添加方法请参见设置白名单。

下载客户端

您可以从Apache官网下载hadoop2.7.3版本SDK hadoop-2.7.3.tar.gz。

配置Hadoop

1. 下载hadoop-2.7.3发布包。

2. 执行tar -zxvf hadoop-2.7.3.tar.gz命令，解压缩SDK包 。

3. 执行export HADOOP_HOME=/installDir/hadoop-2.7.3命令，设置环境变量。

4. 执行cd $HADOOP_HOME命令，进入hadoop目录。

5. 修改etc/hadoop/hadoop-env.sh 文件，并添加准备运行环境章节中设置的JAVA_HOME , 假设Java安装在/opt/install/java。

   # set to the root of your Java installation
   export JAVA_HOME=/opt/install/java

6. 修改etc/hadoop/hdfs-site.xml文件，hdfs-site.xml文件中需要修改的内容如下所示，其中实例ID需要替换为真实的实例ID。

   <configuration>
     <property>
           <name>dfs.nameservices</name>
           <value>${实例ID}</value>
       </property>
       <property>
          <name>dfs.client.failover.proxy.provider.${实例ID}</name>
          <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
       </property>
       <property>
          <name>dfs.ha.automatic-failover.enabled</name>
          <value>true</value>
       </property>
       <property>
          <name>dfs.ha.namenodes.${实例ID}</name>
          <value>nn1,nn2</value>
       </property>
        <property>
          <name>dfs.namenode.rpc-address.${实例ID}.nn1</name>
          <value>${实例ID}-master1-001.lindorm.rds.aliyuncs.com:8020</value>
       </property>
       <property>
          <name>dfs.namenode.rpc-address.${实例ID}.nn2</name>
          <value>${实例ID}-master2-001.lindorm.rds.aliyuncs.com:8020</value>
       </property>
   </configuration>

常用操作示例

1. 上传本地文件。

   • 创建目录。

   $HADOOP_HOME/bin/hadoop fs -mkdir hdfs://${实例ID}/test

   • 准备一个文件，将其上传到文件引擎。

   echo "test" > test.log
   $HADOOP_HOME/bin/hadoop fs -put test.log hdfs://${实例ID}/test

2. 查看上传的文件。

    $HADOOP_HOME/bin/hadoop fs -ls hdfs://${实例ID}/test

3. 下载文件到本地。

   $HADOOP_HOME/bin/hadoop fs -get hdfs://${实例ID}/test/test.log

   说明

   其中实例ID请替换为真实的实例ID。