全部产品

Hive 读写 HBase 指南

更新时间:2019-02-26 11:10:57

云 HBase 支持使用 Hive 读写里面的数据,配置起来也很简单。

环境准备

  • 将 Hive 所在的 Hadoop 集群所有的节点的IP加入到云HBase白名单;
  • 获取云HBase的zookeeper访问地址,可在云HBase控制台查看。

修改配置

  • 进入hive配置目录 /etc/ecm/hive-conf/
  • 修改 hbase-site.xml,将 hbase.zookeeper.quorum 修改为云HBase的zookeeper访问连接,如下:
    1. <property>
    2. <name>hbase.zookeeper.quorum</name>
    3. <value>hb-xxx-001.hbase.rds.aliyuncs.com,hb-xxx-002.hbase.rds.aliyuncs.com,hb-xxx-003.hbase.rds.aliyuncs.com</value>
    4. </property>

在Hive中读写HBase表

如果HBase表不存在,可在Hive中直接创建云HBase关联表

  • 进入hive cli命令行Hive CLI
  • 创建HBase表
    1. CREATE TABLE hive_hbase_table(key int, value string)
    2. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    3. WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
    4. TBLPROPERTIES ("hbase.table.name" = "hive_hbase_table", "hbase.mapred.output.outputtable" = "hive_hbase_table");
  • Hive中向hbase插入数据
    1. insert into hive_hbase_table values(212,'bab');
    hive
  • 查看云HBase表,hbase表已创建,数据也已写入hivehive
  • 在HBase中写入数据,并在Hive中查看hive

    在Hive中查看:

    hive

  • Hive删除表,HBase表也删除

    hive

    查看hbase表,报错不存在表hive

如果HBase表已存在,可在Hive中HBase外表进行关联,外部表在删除时不影响HBase已创建表

  • 云hbase中创建hbase表,并put测试数据hive
  • Hive中创建HBase外部关联表,并查看数据hive
  • 删除Hive表不影响HBase已存在表

    hive

    hive

Hive更多操作HBase步骤,可参考https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

如果使用ECS自建mr集群的 Hive时,操作步骤跟EMR操作类似,需要注意的是自建Hive的hbase-site.xml部分配置项可能与云HBase不一致,简单来说网络和端口开放后,只保留hbase.zookeeper.quorum即可与云Hbase进行关联。