通过Hadoop Shell命令访问

如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作,您可以使用Hadoop Shell的方式。

环境准备

您可以选择以下任意一种方式访问OSS-HDFS服务。

  • 通过阿里云EMR访问OSS-HDFS服务,确保已创建EMR-3.46.2及以上版本或EMR-5.12.2及以上版本的集群。满足版本要求的EMR集群默认集成了OSS-HDFS服务。具体操作,请参见创建集群

  • 通过非阿里云EMR访问OSS-HDFS服务,确保已安装和部署4.6.x及以上版本JindoSDK。具体操作,请参见在非EMR集群中部署JindoSDK

相关命令及示例

通过Hadoop Shell命令访问OSS-HDFS服务的相关命令及示例如下。

  • 上传文件

    将本地根目录下的examplefile.txt文件上传至examplebucket,示例如下:

    hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
  • 新建目录

    在examplebucket下创建名为dir/的目录,示例如下:

    hdfs dfs -mkdir oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir/
  • 查看文件或目录信息

    查看examplebucket下的文件或目录信息,示例如下:

    hdfs dfs -ls oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
  • 获取文件或目录大小

    获取examplebucket下所有文件或目录的大小,示例如下:

    hdfs dfs -du oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
  • 查看文件内容

    查看examplebucket下名为localfile.txt的文件内容,示例如下:

    hdfs dfs -cat oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/localfile.txt
    重要

    查看文件内容时,文件内容将以纯文本形式打印到屏幕上。如果文件内容进行了特定格式的编码,请使用HDFS的Java API读取并解码文件内容。

  • 拷贝目录或文件

    例如,将examplebucket下根目录subdir1拷贝到目录subdir2下,且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变,示例如下:

    hdfs dfs -cp oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/subdir1  oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/subdir2/subdir1
  • 移动目录或文件

    例如,将examplebucket根目录srcdir及其包含的文件或者子目录移动至另一个根目录destdir下,示例如下:

    hdfs dfs -mv oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/srcdir  oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/destdir
  • 下载文件

    将examplebucket下的exampleobject.txt下载到本地根目录文件夹/tmp,示例如下:

    hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/
  • 删除目录或文件

    删除examplebucket下destfolder/目录及其目录下的所有文件,示例如下:

    hdfs dfs -rm -r oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/destfolder/