Spark开发编辑器

本文介绍如何在云原生数据仓库 AnalyticDB MySQL 版控制台创建和执行Spark应用。

功能说明

  • 通过Spark开发编辑器创建和执行Spark离线应用或流应用。

  • 查看当前Spark应用Driver的日志和应用提交时的相关信息。

  • 查看SQL语句的执行日志。

前提条件

  • 集群的产品系列为企业版、基础版或湖仓版

  • 已在企业版、基础版或湖仓版集群中创建Job型资源组。具体操作,请参见新建资源组

  • 已为RAM用户授权。具体操作,请参见为RAM子账号授权

  • 已创建AnalyticDB for MySQL集群的数据库账号。

  • 已授权AnalyticDB for MySQL扮演AliyunADBSparkProcessingDataRole角色来访问其他云资源。具体操作,请参见账号授权

  • 已配置Spark应用的日志存储地址。

    说明

    登录云原生数据仓库AnalyticDB MySQL控制台,在作业开发 > Spark Jar 开发页面,单击日志配置,选择默认路径或自定义存储路径。自定义存储路径时不能将日志保存在OSS的根目录下,请确保该路径中至少包含一层文件夹。

创建和执行Spark应用

  1. 登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,在企业版、基础版或湖仓版页签下,单击目标集群ID。

  2. 在左侧导航栏,单击作业开发 > Spark Jar开发

  3. Spark Jar开发页面,单击应用列表右侧的1

  4. 创建应用模板页面,按照页面提示进行参数配置。

    参数名称

    参数说明

    名称

    设置应用和目录的名字。文件名称不区分大小写。

    类型

    • 选择应用时,模板类型为文件。

    • 选择目录时,模板类型为文件夹。

    父级

    设置文件或者文件夹的上层目录。

    作业类型

    • Batch:离线应用。

    • Streaming:流应用。

    • SQL Engine:Spark Distribution SQL Engine。

  5. 完成上述参数配置后,单击确定创建应用模板。

  6. 创建Spark模板文件后,您可以在Spark开发编辑器中配置Spark应用。如何配置Spark应用,请参见Spark应用开发介绍

  7. Spark应用配置编写完成后,您可以进行以下操作。

    • 单击保存,保存Spark应用,便于后续复用应用。

    • 单击立即执行,执行Spark应用,应用列表会实时显示执行状态。

    • 说明

      在执行Spark应用前,需要选择Job型资源组和应用类型。

查看Spark应用信息

  1. 应用列表页签中,搜索应用ID,执行以下操作,查看目标Spark应用信息。

    • 日志:查看当前Spark应用Driver的日志或SQL语句的执行日志。

    • UI:跳转到对应的Spark UI。UI自身有访问有效期限制,过期后需要重新进入。

    • 详情:当前应用提交时的相关信息。如日志地址、Web UI地址、集群ID、资源组名称等。

    • 停止:终止当前运行中的应用。

    • 历史:查看当前应用的重试列表。

  2. 执行历史页签中,查看所有应用的重试列表。

    说明

    默认情况下,一个应用失败后不会进行重试。如需进行重试,请配置重试参数(spark.adb.maxAttempts和spark.adb.attemptFailuresValidityInterval)。更多信息,请参见Spark应用配置参数说明中的配置参数说明。