JAR开发快速入门

您可以自行编写并构建包含业务逻辑的JAR包,上传此业务JAR包后,即可便捷地开发Spark JAR。本文通过一个示例,为您演示如何进行JAR任务的开发与部署。

前提条件

  • 已创建工作空间,详情请参见管理工作空间

  • 已提前完成业务应用程序开发,并构建好JAR包。

操作步骤

步骤一:开发JAR包

在EMR Serverless Spark中,不直接提供集成的JAR包开发环境,因此需要您在本地或独立的开发平台上完成Spark应用的编码和打包成JAR文件。本快速入门旨在带您快速熟悉JAR任务,为您提供了工程文件以及测试JAR包,您可以直接下载以备后续步骤使用。

单击spark-examples_2.12-3.3.1.jar,直接下载测试JAR包。

说明

该JAR包是Spark自带的一个简单示例,用于计算圆周率π的值。

步骤二:上传JAR包

  1. 进入资源上传页面。

    1. 登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Serverless > Spark

    3. Spark页面,单击目标工作空间名称。

    4. 在EMR Serverless Spark页面,单击左侧导航栏中的文件管理

  2. 文件管理页面,单击上传文件

  3. 上传文件对话框中,单击待上传文件区域选择本地JAR包,或者直接拖拽JAR包到待上传文件区域。

    本文示例是上传spark-examples_2.12-3.3.1.jar。

步骤三:开发并运行任务

  1. 在EMR Serverless Spark页面,单击左侧的数据开发

  2. 单击新建

  3. 输入名称,类型选择Application(批任务) > JAR,然后单击确定

  4. 在右上角选择队列。

    添加队列的具体操作,请参见管理资源队列

  5. 在新建的任务开发中,配置以下信息,其余参数无需配置,然后单击运行

    参数

    说明

    主jar资源

    选择前一个步骤中上传的JAR包。本文示例是spark-examples_2.12-3.3.1.jar。

    Main Class

    提交Spark任务时所指定的主类。本文示例填写为org.apache.spark.examples.SparkPi

  6. 运行任务后,在下方的运行记录区域,单击任务操作列的详情

  7. 任务历史中的开发任务页面,您可以查看相关的日志信息。

    image

步骤四:发布任务

重要

已发布的任务可以作为工作流节点的任务。

  1. 任务运行完成后,单击右侧的发布

  2. 在弹出的对话框中,可以输入发布信息,然后单击确定

(可选)步骤五:查看Spark UI

任务正常运行后,您可以在Spark UI上查看任务的运行情况。

  1. 在左侧导航栏,单击任务历史

  2. 单击开发任务

  3. 开发任务页面,单击目标任务操作列的详情

  4. 任务总览页签,单击Spark UI。

    image

  5. 将自动打开Spark UI页面,可查看任务详情。

    image

相关文档

任务发布完成后,您可以在工作流调度中使用,详情请参见管理工作流。任务编排完整的开发流程示例,请参见SQL开发快速入门