文档

在EMR Hive或Spark中访问OSS-HDFS

更新时间:

EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群,支持OSS-HDFS(JindoFS服务)作为数据存储,提供缓存加速服务和Ranger鉴权功能,使得在Hive或Spark等大数据ETL场景将获得更好的性能和HDFS平迁能力。本文为您介绍E-MapReduce(简称EMR)Hive或Spark如何操作OSS-HDFS。

前提条件

背景信息

OSS-HDFS服务是一款云原生数据湖存储产品,基于统一的元数据管理能力,在完全兼容HDFS文件系统接口的同时,提供充分的POSIX能力支持,能更好的满足大数据和AI领域丰富多样的数据湖计算场景,详细信息请参见OSS-HDFS服务概述

操作步骤

说明 本示例以Hive操作OSS-HDFS为例介绍。您也可以参照此方式使用Spark操作OSS-HDFS。
  1. 登录集群,具体操作请参见登录集群
  2. 创建指向OSS-HDFS的Hive表。

    1. 执行以下命令,进入Hive命令行。
      hive
    2. 执行以下命令,创建指向OSS-HDFS的数据库。

      CREATE DATABASE if not exists dw LOCATION 'oss://<yourBucketName>.<yourBucketEndpoint>/<path>';
      说明
      • 上述命令中的dw为数据库名,<path>为任意路径,<yourBucketName>.<yourBucketEndpoint>为获取到的HDFS服务的域名。

      • 本示例使用OSS-HDFS的域名作为路径的前缀。如果您希望只使用Bucket名称来指向OSS-HDFS,则可以配置Bucket级别的Endpoint或全局Endpoint,具体操作请参见附录一:配置Endpoint的其他方式
    3. 执行以下命令,使用新创建的数据库。
      use dw;
    4. 执行以下命令,在新建的数据库下创建表。
      CREATE TABLE IF NOT EXISTS employee(eid int, name String,salary String,destination String)
      COMMENT 'Employee details';
  3. 向表中插入数据。
    使用INSERT INTO语句向表写入数据,该语句会产生MapReduce作业。
    INSERT INTO employee(eid, name, salary, destination) values(1, 'liu hua', '100.0', '');
  4. 验证表数据。
    SELECT * FROM employee WHERE eid = 1;
    返回信息中会包含插入的数据。
    OK
    1       liu hua 100.0
    Time taken: 12.379 seconds, Fetched: 1 row(s)
  • 本页导读 (1)