EMR Spark Streaming节点

前提条件

• 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见注册EMR集群至DataWorks。

• （可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有开发或空间管理员（权限较大，谨慎添加）角色权限，添加成员的操作详情请参见为工作空间添加空间成员。

  说明

  如果您使用的是主账号，则可忽略该添加操作。

• 已开发创建项目目录，详情请参见项目目录。

• 已创建EMR Spark Streaming节点，详情请参见创建任务节点。

使用限制

• 仅支持使用Serverless资源组（推荐）或独享调度资源组运行该类型任务。

• 不支持EMR on ACK 类型的Spark集群创建使用EMR Spark Streaming节点进行任务开发。

操作步骤

1. 在EMR Spark Streaming节点编辑页面，执行如下开发操作。

   创建并引用EMR JAR资源

   如果您使用的是DataLake（新版数据湖）集群，则可通过如下步骤引用EMR JAR资源。

   1. 准备EMR JAR示例代码。

      spark-submit --master yarn
      --deploy-mode cluster
      --name SparkPi
      --driver-memory 4G
      --driver-cores 1
      --num-executors 5
      --executor-memory 4G
      --executor-cores 1
      --class org.apache.spark.examples.JavaSparkPi
      hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

      说明

      若EMR Spark Streaming节点依赖的资源较大，则无法通过DataWorks页面上传。您可将资源存放至HDFS上，然后在代码中进行引用。代码示例如下。

   2. 创建EMR JAR资源。

      1. 详情请参见资源管理。将中生成的JAR包存储在JAR资源的存放目录emr/jars下。单击点击上传按钮，上传JAR资源。

      2. 选择存储路径、数据源及资源组。

      3. 单击保存按钮进行保存。

   3. 引用EMR JAR资源。

      1. 打开创建的EMR Spark Streaming节点，停留在代码编辑页面。

      2. 在左侧导航栏的资源管理中找到待引用资源，右键选择引用资源。

      3. 选择引用后，当EMR Spark Streaming节点的代码编辑页面出现如下引用成功提示时，表明已成功引用代码资源。此时，需要执行下述命令。如下命令涉及的资源包、Bucket名称、路径信息等为本文示例的内容，使用时，您需要替换为实际使用信息。

         ##@resource_reference{"examples-1.2.0-shaded.jar"}
         --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

   开发SQL代码

   在EMR Spark Streaming节点的编辑页面，输入需要执行的作业代码。示例如下。

   spark-submit --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

   说明

   • 示例在DataWorks上传的资源为examples-1.2.0-shaded.jar。

   • access-key-id及access-key-secret需要替换为您所使用的阿里云账号的AccessKey ID及AccessKey Secret。您可以登录DataWorks控制台，鼠标悬停至顶部菜单栏右侧的用户头像，进入AccessKey管理，获取AccessKey ID及AccessKey Secret。

   • EMR Spark Streaming节点编辑代码时不支持注释语句。

   （可选）配置高级参数

   您可在节点实时配置的EMR节点参数中配置特有属性参数。更多属性参数设置，请参考Spark Configuration。集群可配置的高级参数具体如下表。

   DataLake集群：EMR on ECS

   高级参数	配置说明
   FLOW_SKIP_SQL_ANALYZE	SQL语句执行方式。取值如下： true：表示每次执行多条SQL语句。 false（默认值）：表示每次执行一条SQL语句。 说明 该参数仅支持用于数据开发环境测试运行流程。
   queue	提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见队列基础配置。
   priority	优先级，默认为1。
   其他	您也可以直接在高级配置里追加自定义SparkConf参数。提交代码时DataWorks会自行在命令中加上新增的参数。例如，"spark.driver.memory" : "2g"。

   执行SQL任务

   1. 在调试配置的计算资源中，选择配置计算资源和DataWorks资源组。

      说明

      • 您还可以根据任务执行所需的资源情况来调度 CU。默认CU为0.25。

      • 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见网络连通方案。

   2. 在工具栏的参数对话框中选择已创建的数据源，单击运行SQL任务。

2. 如需定期执行节点任务，请根据业务需求配置调度信息。配置详情请参见调度配置。

3. 节点任务配置完成后，需对节点进行发布。详情请参见节点发布。

4. 任务发布后，您可以在运维中心查看周期任务的运行情况。详情请参见运维中心入门。