配置独立RDS

前提条件

使用限制

操作流程

1. 步骤一：元数据库准备
   准备元数据库信息。
2. 步骤二：创建集群
   在EMR控制台上创建集群，关联元数据库信息。
3. 可选：步骤三：Metastore初始化
   根据Hive版本初始化Metastore。

   重要 如果您创建的是Hadoop集群，则需要执行该步骤。

步骤一：元数据库准备

1. 创建hivemeta的数据库。
   详情请参见创建数据库和账号中的创建数据库。
2. 创建用户并授权读写权限。
   重要

   • 如果您创建的是Hadoop集群，则可以创建普通账号，详情请参见创建数据库和账号。
   • 如果您创建的是EMR Studio集群，则需要创建高级权限账号，详情请参见创建数据库和账号。

   

   请记录创建账号的用户名和密码，步骤二：创建集群会用到。

3. 获取数据库内网地址。
   1. 设置白名单，详情请参见通过客户端、命令行连接RDS。
   2. 在实例详细页面，单击左侧导航栏中的数据库连接。
   3. 在数据库连接页面，单击内网地址进行复制。
      

      请记录内网地址，步骤二：创建集群时会用到。

步骤二：创建集群

步骤三：Metastore初始化

1. 进入集群详情页面。
   1. 登录阿里云E-MapReduce控制台。
   2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
   3. 单击上方的集群管理页签。
   4. 在集群管理页面，单击相应集群所在行的详情。
2. 在集群基础信息页面的软件信息区域，检查Hive的版本，并进行初始化。
   • 如果Hive是2.3.x版本，请按照以下步骤进行初始化。
     1. 使用ssh方式登录集群Master节点，详情请参见登录集群。
     2. 执行以下命令，进入mysql目录。

        cd /usr/lib/hive-current/scripts/metastore/upgrade/mysql/

     3. 执行以下命令，登录MySQL数据库。

        mysql -h {RDS数据库内网或外网地址} -u{RDS用户名} -p{RDS密码}

     4. 执行以下命令，进行初始化。

        use {RDS数据库名称};
        source /usr/lib/hive-current/scripts/metastore/upgrade/mysql/hive-schema-2.3.0.mysql.sql;

     上述命令中参数描述如下：

     • {RDS用户名}为步骤一：元数据库准备中账号的用户名。本示例为hiveuser。
     • {RDS密码}为步骤一：元数据库准备中账号的密码。
     • {RDS数据库名称}为步骤一：元数据库准备中设置的数据库名称。本示例为hivemeta。
   • 如果Hive是其他版本时，执行以下命令进行初始化。
     1. 使用ssh方式登录集群Master节点，详情请参见登录集群。
     2. 执行以下命令，切换为hadoop用户。

        su hadoop

     3. 执行以下命令，进行初始化。

        schematool -initSchema -dbType mysql

   待初始化成功后，则可以使用自建的RDS作为Hive的元数据库。

   说明 在初始化之前，Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常，待初始化之后会恢复正常。

常见问题

• Metastore初始化时提示Failed to get schema version异常信息，该如何处理？
• 如果Hive元数据信息中包含中文信息，例如列注释和分区名等，该如何处理？