通过HDFS Shell连接并使用文件引擎

更新时间: 2023-08-04 11:34:43

通过HDFS Shell工具,您可以交互式管理文件引擎的文件,包括文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍HDFS Shell的常用命令。

环境配置

请参见下载客户端配置Hadoop

常用命令

  1. 从本地上传数据至文件引擎常用的命令。

    命令

    说明

    put

    从本地文件系统中复制单个或多个源路径到目标文件引擎。也支持从标准输入中读取输入写入目标文件引擎。

    copyFromLocal

    限定源路径为本地文件,其他功能实现和put命令相同。

    moveFromLocal

    将文件从本地剪切到文件引擎。

    appendToFile

    从本地文件系统追加一个或多个src到目标文件引擎。

  2. 操作文件引擎数据的常用指令。

    命令

    说明

    cp

    将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。

    mv

    将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。

    chown

    改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

    chgrp

    改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

    chmod

    改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

    mkdir

    接受路径指定的URL作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的各级父目录。

    du

    显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小。

    df

    查看文件的使用情况。

    cat

    将路径指定文件的内容输出到stdout。

    rm

    删除指定的文件。只删除非空目录和文件。

    ls

    • 如果是文件,则返回文件信息的格式为:文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID

    • 如果是目录,则返回它直接子文件的一个列表,就像在Unix中一样。目录返回列表的信息为:目录名 <dir> 修改日期 修改时间 权限 用户ID 组ID

  3. 从文件引擎下载数据到本地的常用指令。

    命令

    说明

    get

    复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

    getmerge

    接受一个源目录和一个目标文件作为输入,并且将源目录中所有的文件连接成本地目标文件。

    copyToLocal

    除了限定目标路径是一个本地文件外,和get命令类似。

更多命令,可以执行help命令查看。更多内容请参考Apache HDFS Shell介绍

示例

实际使用时,请将示例代码中的${实例Id}替换为Lindorm实例ID。

  • 查询目录下面的文件。

    ${HADOOP_HOME}/bin/hadoop fs -ls hdfs://${实例ID}/
  • 上传文件。

    ${HADOOP_HOME}/bin/hadoop fs -put test.txt hdfs://${实例ID}/
  • 下载文件至本地。

    ${HADOOP_HOME}/bin/hadoop fs -get hdfs://${实例ID}/${filename}

    其中,${filename}为需要下载的文件名。

  • 删除文件。

    ${HADOOP_HOME}/bin/hadoop fs -rm hdfs://${实例ID}/${filename}

    其中,${filename}为需要下载的文件名。

    说明

    使用上述示例删除文件时,文件会被移动至Trash目录下,不会被真正清除。如需彻底清除,请执行hadoop fs -expunge命令,即清空回收站。

阿里云首页 云原生多模数据库 Lindorm 相关技术圈