文档

JAR任务快速入门

更新时间:

您可以自行编写并构建包含业务逻辑的JAR包,上传此业务JAR包后,即可便捷地创建Spark JAR任务。本文通过一个示例,为您演示如何进行JAR任务的开发与部署。

前提条件

  • 已创建工作空间,详情请参见管理工作空间

  • 已提前完成业务应用程序开发,并构建好JAR包。

操作步骤

步骤一:开发JAR包

在EMR Serverless Spark中,不直接提供集成的JAR包开发环境,因此需要您在本地或独立的开发平台上完成Spark应用的编码和打包成JAR文件。本快速入门为了带您快速熟悉JAR任务,为您提供了工程文件以及测试JAR包,您可以直接下载以备后续步骤使用。

单击spark-examples_2.12-3.3.1.jar,直接下载测试JAR包。

说明

该JAR包是Spark自带的一个简单示例,用于计算圆周率π的值。

步骤二:上传JAR包

  1. 进入任务开发页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间名称。

    4. 在EMR Serverless Spark页面,单击左侧导航栏中的资源上传

  2. 资源上传页面,单击上传文件

  3. 上传文件对话框中,单击待上传文件区域选择本地JAR包,或者直接拖拽JAR包到待上传文件区域。

    本文示例是上传spark-examples_2.12-3.3.1.jar。

步骤三:开发并运行任务

  1. 在EMR Serverless Spark页面,单击左侧的任务开发

  2. 单击新建

  3. 输入任务名称,新建一个Application > JAR类型的任务,单击确定

  4. 在右上角选择开启Session的队列。

    添加队列的具体操作,请参见管理资源队列

  5. 在新建的任务开发中,配置以下信息,其余参数无需配置,然后单击运行

    参数

    说明

    文件路径

    选择前一个步骤中上传的JAR包。本文示例是spark-examples_2.12-3.3.1.jar。

    Entrypoint

    org.apache.spark.examples.SparkPi

  6. 运行任务后,在下方的运行记录区域,单击任务操作列的详情

  7. 任务列表中的开发任务页面,您可以查看相关的日志信息。

    image

步骤四:发布任务

重要

已发布的任务可以作为工作流节点的任务。

  1. 任务运行完成后,单击右侧的发布

  2. 在任务发布对话框中,可以输入发布信息,单击确定

(可选)步骤五:查看Spark UI

任务正常运行后,您可以在Spark UI上查看任务的运行情况。

  1. 在左侧导航栏,单击任务列表

  2. 单击开发任务

  3. 开发任务页面,单击目标任务操作列的详情

  4. 任务总览页签,单击Spark UI。

    image

  5. 将自动打开Spark UI页面,可查看任务详情。

    image

相关文档

任务发布完成后,您可以在工作流调度中使用,详情请参见管理工作流。任务编排完整的开发流程示例,请参见SQL任务快速入门

  • 本页导读 (1)
文档反馈