连接外部Hive Metastore Service

步骤一：准备Hive Metastore服务

1. 在EMR on ECS页面创建包含Hive服务，元数据为内置MySQL的DataLake集群，详情请参见创建集群。

2. 使用SSH方式登录集群的Master节点，详情请参见登录集群。

3. 执行以下命令，进入Hive命令行。

   hive

4. 执行以下命令，创建一个指向OSS的表（dw_users）并写入数据。

   CREATE TABLE `dw_users`(
     `name` string)
   LOCATION
     'oss://<yourBucket>/path/to/file';
   
   INSERT INTO dw_users select 'Bob';

步骤二：新增网络连接

1. 进入网络连接页面。

   1. 登录E-MapReduce控制台。

   2. 在左侧导航栏，选择EMR Serverless > Spark。

   3. 在Spark页面，单击目标工作空间名称。

   4. 在EMR Serverless Spark页面，单击左侧导航栏中的网络连接。

2. 在网络连接页面，单击新增网络连接。

3. 在新增网络连接对话框中，配置以下信息，单击确定。

   参数	说明
   连接名称	输入新增连接的名称。
   专有网络	选择与EMR集群相同的专有网络。
   交换机	选择与EMR集群部署在同一专有网络下的相同交换机。

   当状态显示为已成功时，表示新增网络连接成功。

   

步骤三：开放Hive Metastore服务端口

1. 获取已创建网络连接中指定交换机的网段。

   您可以登录专有网络管理控制台，在交换机页面获取交换机的网段。

   

2. 添加安全组规则。

   1. 登录EMR on ECS控制台。

   2. 在EMR on ECS页面，单击目标集群的集群ID。

   3. 在基础信息页面，单击集群安全组后面的链接。

   4. 在安全组页面，单击增加规则，填写访问来源和端口，然后单击确定。

      参数	说明
      端口	填写9083端口。
      访问来源	填写前一步骤中获取的指定交换机的网段。 重要 为防止被外部的用户攻击导致安全问题，访问来源禁止填写为0.0.0.0/0。

步骤四：连接Hive Metastore

1. 在EMR Serverless Spark页面，单击左侧导航栏中的数据目录。

2. 在数据目录页面，单击添加数据目录。

3. 在弹出的对话框中，单击外部Hive Metastore，配置以下信息，单击确定。

   参数	说明
   网络连接	选择步骤二中新增的网络连接。
   Metastore服务地址	Hive MetaStore的URI。格式为thrift://<Hive metastore的IP地址>:9083。 <Hive metastore的IP地址>为HMS服务的内网IP地址。本示例为EMR集群Master节点的内网IP，您可以在EMR集群的节点管理页面中查看。 说明 如果HMS开启了高可用，支持填写多个节点的HMS服务地址。多个URI之间应使用“,”分隔，例如：thrift://<Hive metastore的IP地址1>:9083,thrift://<Hive metastore的IP地址2>:9083。
   Kerberos keytab 文件地址	Kerberos keytab文件路径。
   Kerberos principal	keytab文件中包含的Principal的名称，用于与Kerberos服务进行身份验证。您可以使用klist -kt <keytab文件>命令查看目标keytab文件中Principal的名称。

步骤五：使用Hive Metastore

1. 在数据目录页面，单击hive_metastore操作列的设为默认，设置hive_metastore为工作空间的默认数据目录。

   

2. 重启SQL会话。

   如果您的工作空间中已有SQL会话，您需先停止SQL会话，然后再启动SQL会话，以确保hive_metastore生效。

3. 在SQL开发中查询hive_metastore表的数据。

   1. 新建SQL开发，详情请参见SparkSQL开发。

   2. 执行以下命令，查询hive_metastore中的dw_users表。

      SELECT * FROM dw_users;

      

常见问题