创建EMR Spark Streaming节点

使用限制

• 仅支持使用独享调度资源组运行该类型任务。

• 如果您使用的独享调度资源组和EMR集群是2021年6月10日之前创建的，则需要提交工单升级相关组件。

• 不支持Spark【EMR on ACK】类型的集群。

操作步骤

1. 进入数据开发页面。

2. 创建业务流程。

   如果您已有业务流程，则可以忽略该步骤。

   1. 鼠标悬停至图标，选择新建业务流程。

   2. 在新建业务流程对话框，输入业务名称。

   3. 单击新建。

3. 创建EMR Spark Streaming节点。

   1. 鼠标悬停至图标，选择新建节点 > EMR > EMR Spark Streaming。

      您也可以找到相应的业务流程，右键单击业务流程，选择新建节点 > EMR > EMR Spark Streaming。

   2. 在新建节点对话框中，输入名称，并选择引擎实例、节点类型及路径。

      说明

      节点名称必须是大小写字母、中文、数字、下划线（_）和小数点（.），且不能超过128个字符。

   3. 单击确认，进入EMR Spark节点编辑页面。

4. 创建并引用EMR JAR资源。

   如果您使用的是DataLake（新版数据湖）集群，则可通过如下步骤引用EMR JAR资源。

   说明

   若EMR Spark Streaming节点依赖的资源较大，则无法通过DataWorks页面上传。您可将资源存放至HDFS上，然后在代码中进行引用。代码示例如下。

   spark-submit --master yarn
   --deploy-mode cluster
   --name SparkPi
   --driver-memory 4G
   --driver-cores 1
   --num-executors 5
   --executor-memory 4G
   --executor-cores 1
   --class org.apache.spark.examples.JavaSparkPi
   hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

   1. 创建EMR JAR资源，详情请参见创建和使用EMR资源。首次使用需要进行一键授权。

   2. 引用EMR JAR资源。

      1. 打开创建的EMR Spark Streaming节点，停留在代码编辑页面。

      2. 在EMR > 资源节点下，找到待引用资源，右键选择引用资源。

      3. 选择资源后，当节点编辑页面显示##@resource_reference{""}格式的语句，表明资源引用成功。此时，需要执行下述命令。命令涉及的资源包、Bucket名称、路径信息等为本文示例的内容，使用时，请替换为实际使用的信息。

         ##@resource_reference{"examples-1.2.0-shaded.jar"}
         --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

5. 使用EMR Spark Streaming节点进行数据开发。

   1. 选择目标EMR引擎。

      在节点编辑页面的EMR引擎实例列表，选择需要使用的目标EMR引擎。

   2. 编写作业代码。

      在EMR Spark Streaming节点的编辑页面，输入需要执行的作业代码。示例如下。

      spark-submit --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

      说明

      • 示例在DataWorks上传的资源为examples-1.2.0-shaded.jar。

      • access-key-id及access-key-secret需要替换为您所使用的阿里云账号的AccessKey ID及AccessKey Secret。您可以登录DataWorks控制台，鼠标悬停至顶部菜单栏右侧的用户头像，进入AccessKey管理，获取AccessKey ID及AccessKey Secret。

      • EMR Spark Streaming节点编辑代码时不支持注释语句。

   3. 配置调度资源组。

      • 单击工具栏中的图标，在参数对话框中选择需要使用的调度资源组。

      • 单击确定。

   4. 保存并运行任务。

      在工具栏中，单击图标，保存节点任务，单击图标，运行节点任务。

6. 编辑高级设置。

   如果您使用的是DataLake（新版数据湖）集群，则可配置如下高级参数。

   • “queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见队列基础配置。

   • “priority”：优先级，默认为1。

   说明

   • 您也可以直接在高级配置里追加自定义SparkConf参数。提交代码时DataWorks会自行在命令中加上新增的参数。例如，"spark.driver.memory" : "2g"。

   • 更多任务的相关参数配置，请参考Spark Configuration。

7. 任务调度配置。

   如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的调度配置，根据业务需求配置该节点任务的调度信息：

   • 配置任务调度的基本信息，详情请参见配置基础属性。

   • 配置时间调度周期、重跑属性和上下游依赖关系，详情请参见时间属性配置说明及配置同周期调度依赖。

     说明

     您需要设置节点的重跑属性和依赖的上游节点，才可以提交节点。

   • 配置资源属性，详情请参见配置资源属性。访问公网或VPC网络时，请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见配置资源组与网络连通。

8. 提交并发布节点任务。

   1. 单击工具栏中的图标，保存节点。

   2. 单击工具栏中的图标，提交节点任务。

   3. 在提交新版本对话框中，输入变更描述。

   4. 单击确定。

   如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务。

9. 查看实时计算任务。

   1. 单击编辑界面右上角的运维，进入运维中心。

   2. 查看运行的实时计算任务，详情请参见实时计算任务运行与管理。