文档

EMR集群接入OSS-HDFS服务快速入门

更新时间:

阿里云开源大数据开发平台E-MapReduce(简称EMR)特定版本集群默认集成OSS-HDFS服务。本文介绍如何通过EMR集群完成OSS-HDFS服务快速入门的常见操作。

前提条件

操作视频

观看以下视频了解如何通过EMR集群快速接入OSS-HDFS服务并完成常见操作。

操作步骤

  1. 登录EMR集群。

    1. 登录EMR on ECS控制台

    2. 单击创建的EMR集群。

    3. 单击节点管理页签,然后单击节点组左侧的+

    4. 单击ECS ID。在ECS实例页面,单击实例ID右侧的远程连接

    如果您希望使用SSH方式(SSH密钥对或SSH密码)在Windows和Linux环境中登录集群,请参见登录集群

  2. 通过HDFS Shell命令执行OSS-HDFS服务快速入门常见操作。

    • 上传文件

      将本地根目录下的examplefile.txt文件上传至examplebucket,示例如下:

      hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
    • 新建目录

      在examplebucket下创建名为dir/的目录,示例如下:

      hdfs dfs -mkdir oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir/
    • 查看文件或目录信息

      查看examplebucket下的文件或目录信息,示例如下:

      hdfs dfs -ls oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
    • 获取文件或目录大小

      获取examplebucket下所有文件或目录的大小,示例如下:

      hdfs dfs -du oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/
    • 查看文件内容

      查看examplebucket下名为localfile.txt的文件内容,示例如下:

      hdfs dfs -cat oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/localfile.txt
      重要

      查看文件内容时,文件内容将以纯文本形式打印到屏幕上。如果文件内容进行了特定格式的编码,请使用HDFS的Java API读取并解码文件内容。

    • 拷贝目录或文件

      例如,将examplebucket下根目录subdir1拷贝到目录subdir2下,且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变,示例如下:

      hdfs dfs -cp oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/subdir1  oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/subdir2/subdir1
    • 移动目录或文件

      例如,将examplebucket根目录srcdir及其包含的文件或者子目录移动至另一个根目录destdir下,示例如下:

      hdfs dfs -mv oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/srcdir  oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/destdir
    • 下载文件

      将examplebucket下的exampleobject.txt下载到本地根目录文件夹/tmp,示例如下:

      hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt  /tmp/
    • 删除目录或文件

      删除examplebucket下destfolder/目录及其目录下的所有文件,示例如下:

      hdfs dfs -rm -r oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/destfolder/