您可以自行编写并构建包含业务逻辑的JAR包,上传此业务JAR包后,即可便捷地开发Spark JAR。本文通过一个示例,为您演示如何进行JAR任务的开发与部署。
前提条件
已创建工作空间,详情请参见管理工作空间。
已提前完成业务应用程序开发,并构建好JAR包。
操作步骤
步骤一:开发JAR包
在EMR Serverless Spark中,不直接提供集成的JAR包开发环境,因此需要您在本地或独立的开发平台上完成Spark应用的编码和打包成JAR文件。本快速入门旨在带您快速熟悉JAR任务,为您提供了工程文件以及测试JAR包,您可以直接下载以备后续步骤使用。
单击spark-examples_2.12-3.3.1.jar,直接下载测试JAR包。
该JAR包是Spark自带的一个简单示例,用于计算圆周率π的值。
步骤二:上传JAR包
进入资源上传页面。
在左侧导航栏,选择
。在Spark页面,单击目标工作空间名称。
在EMR Serverless Spark页面,单击左侧导航栏中的文件管理。
在文件管理页面,单击上传文件。
在上传文件对话框中,单击待上传文件区域选择本地JAR包,或者直接拖拽JAR包到待上传文件区域。
本文示例是上传spark-examples_2.12-3.3.1.jar。
步骤三:开发并运行任务
在EMR Serverless Spark页面,单击左侧的数据开发。
单击新建。
输入名称,类型选择
,然后单击确定。在右上角选择队列。
添加队列的具体操作,请参见管理资源队列。
在新建的任务开发中,配置以下信息,其余参数无需配置,然后单击运行。
参数
说明
主jar资源
选择前一个步骤中上传的JAR包。本文示例是spark-examples_2.12-3.3.1.jar。
Main Class
提交Spark任务时所指定的主类。本文示例填写为
org.apache.spark.examples.SparkPi
。运行任务后,在下方的运行记录区域,单击任务操作列的详情。
在任务历史中的开发任务页面,您可以查看相关的日志信息。
步骤四:发布任务
已发布的任务可以作为工作流节点的任务。
任务运行完成后,单击右侧的发布。
在弹出的对话框中,可以输入发布信息,然后单击确定。
(可选)步骤五:查看Spark UI
任务正常运行后,您可以在Spark UI上查看任务的运行情况。
在左侧导航栏,单击任务历史。
单击开发任务。
在开发任务页面,单击目标任务操作列的详情。
在任务总览页签,单击Spark UI。
将自动打开Spark UI页面,可查看任务详情。