EMR Serverless Spark与其他VPC间网络互通

前提条件

已准备好数据源。本文以在EMR on ECS页面创建包含Hive服务，元数据为内置MySQL的DataLake集群为例，详情请参见创建集群。

使用限制

• 当前仅支持创建一个网络连接。

• 当前仅支持使用下列可用区的交换机。

  • 中国地区

    地域名称	地域ID	可用区名称
    华东1（杭州）	cn-hangzhou	杭州 可用区H 杭州 可用区I 杭州 可用区J
    华东2（上海）	cn-shanghai	上海 可用区F 上海 可用区G
    华北2（北京）	cn-beijing	北京 可用区F 北京 可用区G 北京 可用区H 北京 可用区K
    华北3（张家口）	cn-zhangjiakou	张家口 可用区B
    华北6（乌兰察布）	cn-wulanchabu	乌兰察布 可用区B
    华南1（深圳）	cn-shenzhen	深圳 可用区E

  • 其他国家和地区

    地域名称	地域ID	可用区名称
    新加坡	ap-southeast-1	新加坡 可用区B 新加坡 可用区C
    美国（弗吉尼亚）	us-east-1	弗吉尼亚 可用区A 弗吉尼亚 可用区B
    德国（法兰克福）	eu-central-1	法兰克福 可用区A 法兰克福 可用区B

步骤一：新增网络连接

1. 进入网络连接页面。

   1. 登录E-MapReduce控制台。

   2. 在左侧导航栏，选择EMR Serverless > Spark。

   3. 在Spark页面，单击目标工作空间名称。

   4. 在EMR Serverless Spark页面，单击左侧导航栏中的网络连接。

2. 在网络连接页面，单击新增网络连接。

3. 在新增网络连接对话框中，配置以下信息，单击确定。

   参数	说明
   连接名称	输入新增连接的名称。
   专有网络	选择与EMR集群相同的专有网络。 如果当前没有可选择的专有网络，请单击创建专有网络，前往专有网络控制台创建，详情请参见创建和管理专有网络。
   交换机	选择与EMR集群部署在同一专有网络下的相同交换机。 如果当前可用区没有交换机，请单击虚拟交换机，前往专有网络控制台创建，详情请参见创建和管理交换机。 重要 仅支持选择特定可用区下的交换机，详情请参见使用限制。

   当状态显示为已成功时，表示新增网络连接成功。

   

步骤二：为EMR集群添加安全组规则

1. 获取已创建网络连接中指定交换机的网段。

   您可以登录专有网络管理控制台的交换机页面，获取交换机的网段。

   

2. 添加安全组规则。

   1. 登录EMR on ECS控制台。

   2. 在EMR on ECS页面，单击目标集群的集群ID。

   3. 在基础信息页面的安全区域，单击集群安全组后面的链接。

   4. 在安全组详情页面的访问规则区域，单击手动添加，填写端口范围和授权对象，然后单击保存。

      参数	说明
      端口范围	填写9083端口。
      授权对象	填写前一步骤中获取的指定交换机的网段。 重要 为防止被外部的用户攻击导致安全问题，授权对象禁止填写为0.0.0.0/0。

（可选）步骤三：连接Hive服务并查询表数据

如果您已有创建并配置好的Hive表，则可以跳过该步骤。

1. 使用SSH方式登录集群的Master节点，详情请参见登录集群。

2. 执行以下命令，进入Hive命令行。

   hive

3. 执行以下命令，创建表。

   CREATE TABLE my_table (id INT,name STRING);

4. 执行以下命令，向表中插入数据。

   INSERT INTO my_table VALUES (1, 'John'); 
   INSERT INTO my_table VALUES (2, 'Jane');

5. 执行以下命令，查询数据。

   SELECT * FROM my_table;

（可选）步骤四：准备并上传资源文件

如果您后续使用JAR任务类型，则需提前准备好资源文件。如果使用本文的SparkSQL任务类型，则可以跳过该步骤。

1. 在本地新建一个Maven工程。

   工程内容如下

   package com.example;
   
   import org.apache.spark.sql.Dataset;
   import org.apache.spark.sql.Row;
   import org.apache.spark.sql.SparkSession;
   
   public class DataFrameExample {
       public static void main(String[] args) {
           // 创建SparkSession。
           SparkSession spark = SparkSession.builder()
                   .appName("HMSQueryExample")
                   .enableHiveSupport()
                   .getOrCreate();
   
           // 执行查询。
           Dataset<Row> result = spark.sql("SELECT * FROM default.my_table");
   
           // 打印查询结果。
           result.show();
   
           // 关闭SparkSession。
           spark.stop();
       }
   }

   pom文件内容如下

   <?xml version="1.0" encoding="UTF-8"?>
   <project xmlns="http://maven.apache.org/POM/4.0.0"
            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
            xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
       <modelVersion>4.0.0</modelVersion>
   
       <groupId>org.example</groupId>
       <artifactId>sparkDataFrame</artifactId>
       <version>1.0-SNAPSHOT</version>
   
       <properties>
           <maven.compiler.source>8</maven.compiler.source>
           <maven.compiler.target>8</maven.compiler.target>
           <spark.version>3.3.1</spark.version>
           <scala.binary.version>2.12</scala.binary.version>
       </properties>
   
       <dependencies>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-core_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-sql_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-hive_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
       </dependencies>
   </project>

2. 使用mvn package命令打包，编译打包后生成sparkDataFrame-1.0-SNAPSHOT.jar文件。

3. 在EMR Serverless Spark页面的目标工作空间下，单击左侧的文件管理。

4. 在文件管理页面，单击上传文件。

5. 上传本地打包好的sparkDataFrame-1.0-SNAPSHOT.jar文件。

步骤五：新建并运行任务