本文汇总了使用E-MapReduce的元数据管理时的常见问题。

报错提示“oss://yourbucket/***/***/***”或“hdfs://yourhost:9000/***/***/***”路径不存在,该如何处理?

问题分析:由于删除OSS上的表数据之前,没有删除数据表对应的元数据,导致表的Schema还存在,但实际的数据已经不存在或已经移动到别的路径。

解决方法:可以先修改表的Location为一个存在的路径,然后再删除表。
alter table test set location 'oss://your_bucket/your_folder'
说明 oss://your_bucket/your_folder必须是一个存在的OSS路径。

删除Hive Database时提示“java.lang.IllegalArgumentException: java.net.UnknownHostException: *****”

问题分析:由于在之前的集群上创建了Hive的数据库,并且数据库的位置是落在之前集群的HDFS之上,但是在集群释放的时候,没有清理掉对应的Hive Database,导致新建集群之后,无法访问到之前已经释放集群的HDFS数据。如果在HDFS上的数据库和表是手动创建的,在释放集群时候需要清理。

解决方法:
  1. 登录集群的Master节点,在$HIVE_CONF_DIR/hivemetastore-site.xml中,找到对应数据库的访问地址和用户名密码信息。
    javax.jdo.option.ConnectionUserName //对应数据库用户名;
    javax.jdo.option.ConnectionPassword //对应数据库访问密码;
    javax.jdo.option.ConnectionURL //对应数据库访问地址和库名;
    delete_hive_database
  2. 在集群Master节点上输入以下命令,并根据提示信息输入密码登录创建的Hive数据库。
    mysql -h ${DBConnectionURL} -u ${ConnectionUserName} -p
  3. 登录Hive数据库后,修改Location为该Region真实存在的OSS路径即可。hive_meta_db

如何登录内置的MySQL?

  1. 通过SSH方式连接集群。

    详情请参见登录集群

  2. 执行以下命令,登录内置的MySQL。
    mysql -uroot -pEMRroot1234

    内置MySQL登录的用户名为root,密码为EMRroot1234。