本文介绍如何配置Spark Streaming类型的作业。

前提条件

  • 已创建好项目，详情请参见项目管理。
  • 已准备好作业所需的资源，以及作业要处理的数据。

操作步骤

  1. 进入数据开发的项目列表页面。
    1. 通过阿里云账号登录阿里云E-MapReduce控制台。
    2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
    3. 单击上方的数据开发页签。
  2. 单击待编辑项目所在行的作业编辑。
  3. 新建Spark Streaming类型作业。
    1. 在页面左侧，在需要操作的文件夹上单击右键，选择新建作业。
    2. 在新建作业对话框中，输入作业名称和作业描述，从作业类型下拉列表中选择Spark Streaming作业类型。
    3. 单击确定。
  4. 编辑作业内容。
    1. 在作业内容中，填写提交该作业需要提供的命令行参数。
      Spark Streaming作业提交命令的格式如下。
      spark-submit [options] --class [MainClass] xxx.jar args
      作业名称以SlsStreaming为例，作业内容示例如下。
      --master yarn-client --driver-memory 7G --executor-memory 5G --executor-cores 1 --num-executors 32 --class com.aliyun.emr.checklist.benchmark.SlsStreaming emr-checklist_2.10-0.1.0.jar <project> <logstore> <accessKey> <secretKey>
      注意
      • 如果作业JAR包保存在OSS中，则引用这个JAR包的方式是ossref://xxx/.../xxx.jar。
      • 您可以单击下方的+插入OSS路径，选择文件前缀为OSSREF，从文件路径中进行浏览和选择，系统会自动补齐OSS上Spark Streaming脚本的路径。
    2. 单击保存，作业内容编辑完成。