Application任务开发

前提条件

已创建工作空间，详情请参见管理工作空间。

操作步骤

1. 进入任务开发页面。

   1. 登录E-MapReduce控制台。

   2. 在左侧导航栏，选择EMR Serverless > Spark。

   3. 在Spark页面，单击目标工作空间名称。

   4. 在EMR Serverless Spark页面，单击左侧导航栏中的任务开发。

2. 新建任务。

   1. 在任务开发的任务目录页签下，单击新建。

   2. 在新建任务对话框中，输入名称，在任务类型下拉列表中选择Application中的类型，单击确定。

   3. 在右上角选择启动Session的队列。

      添加队列的具体操作，请参见管理资源队列。

   4. 在新建的任务编辑器中，编辑相关参数。

      JAR

      参数	说明
      引擎版本	Spark的版本，详情请参见引擎版本介绍。
      文件路径	提交任务时所需的文件。这些文件需提前在资源上传页面上传。
      Entrypoint	提交Spark任务时所指定的主类。
      运行参数	任务运行过程中所需的配置项或传递给主类的自定义参数。
      附加依赖	任务运行所需的外部资源或程序库。
      spark.driver.cores	Spark应用程序中驱动程序使用的CPU核心数。
      spark.driver.memory	Spark应用程序中驱动程序可用的内存大小。
      spark.executor.cores	Spark应用程序中每个执行器（Executor）使用的虚拟CPU核心数。
      spark.executor.memory	Spark应用程序中每个执行器（Executor）可用的内存大小。
      Spark配置	填写Spark配置信息，默认以空格符分隔，例如，key value。
      日志级别	日志的级别。包括DEBUG、INFO、WARN、ERROR等。
      日志路径	配置存储日志的路径。
      标签	填写标签键值对，可以提升任务管理的便捷性和精准性。

      PySpark

      参数	说明
      引擎版本	Spark的版本，详情请参见引擎版本介绍。
      文件路径	提交任务时所需的文件。这些文件需提前在资源上传页面上传。
      运行参数	任务运行过程中所需的配置项或传递给主类的自定义参数。
      files	指定需要分发到集群中所有Executor节点上的文件列表。
      spark.driver.cores	Spark应用程序中驱动程序使用的CPU核心数。
      spark.driver.memory	Spark应用程序中驱动程序可用的内存大小。
      spark.executor.cores	Spark应用程序中每个执行器（Executor）使用的虚拟CPU核心数。
      spark.executor.memory	Spark应用程序中每个执行器（Executor）可用的内存大小。
      Spark配置	填写Spark配置信息，默认以空格符分隔，例如，key value。
      日志级别	日志的级别。包括DEBUG、INFO、WARN、ERROR等。
      日志路径	配置存储日志的路径。
      标签	填写标签键值对，可以提升任务管理的便捷性和精准性。

      SparkSQL

      参数	说明
      引擎版本	Spark的版本，详情请参见引擎版本介绍。
      文件路径	提交任务时所需的文件。这些文件需提前在资源上传页面上传。
      spark.driver.cores	Spark应用程序中驱动程序使用的CPU核心数。
      spark.driver.memory	Spark应用程序中驱动程序可用的内存大小。
      spark.executor.cores	Spark应用程序中每个执行器（Executor）使用的虚拟CPU核心数。
      spark.executor.memory	Spark应用程序中每个执行器（Executor）可用的内存大小。
      Spark配置	填写Spark配置信息，默认以空格符分隔，例如，key value。
      日志级别	日志的级别。包括DEBUG、INFO、WARN、ERROR等。
      日志路径	配置存储日志的路径。
      标签	填写标签键值对，可以提升任务管理的便捷性和精准性。

   5. （可选）在任务开发页面右侧，您可以单击版本信息页签，查看版本信息或进行版本对比。

3. 运行并发布任务。

   1. 单击运行。

      运行任务后，您可以在下方的运行记录区域，单击操作列的详情，跳转至任务总览页，查看该任务的具体信息。

   2. 单击右上角的发布。

   3. 在发布任务对话框中，可以输入发布信息，单击确定。

相关文档

• JAR任务完整的开发流程示例，请参见JAR任务快速入门。

• PySpark任务完整的开发流程示例，请参见PySpark任务快速入门。

• SQL任务和任务编排完整的开发流程示例，请参见SQL任务快速入门。