本文介绍如何在云原生数据仓库 AnalyticDB MySQL 版控制台创建和执行Spark应用。
功能说明
通过Spark开发编辑器创建和执行Spark离线应用或流应用。
查看当前Spark应用Driver的日志和应用提交时的相关信息。
查看SQL语句的执行日志。
前提条件
集群的产品系列为企业版、基础版或湖仓版。
已在企业版、基础版或湖仓版集群中创建Job型资源组。具体操作,请参见新建资源组。
已为RAM用户授权。具体操作,请参见为RAM子账号授权。
已创建AnalyticDB for MySQL集群的数据库账号。
如果是通过阿里云账号访问,只需创建高权限账号。具体操作,请参见创建高权限账号。
如果是通过RAM用户访问,需要创建高权限账号和普通账号并且将RAM用户绑定到普通账号上。具体操作,请参见创建数据库账号和绑定或解绑RAM用户与数据库账号。
已授权AnalyticDB for MySQL扮演AliyunADBSparkProcessingDataRole角色来访问其他云资源。具体操作,请参见账号授权。
已配置Spark应用的日志存储地址。
说明登录云原生数据仓库AnalyticDB MySQL控制台,在 页面,单击日志配置,选择默认路径或自定义存储路径。自定义存储路径时不能将日志保存在OSS的根目录下,请确保该路径中至少包含一层文件夹。
创建和执行Spark应用
登录云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击集群列表,在企业版、基础版或湖仓版页签下,单击目标集群ID。
在左侧导航栏,单击 。
在Spark Jar开发页面,单击应用列表右侧的。
在创建应用模板页面,按照页面提示进行参数配置。
参数名称
参数说明
名称
设置应用和目录的名字。文件名称不区分大小写。
类型
选择应用时,模板类型为文件。
选择目录时,模板类型为文件夹。
父级
设置文件或者文件夹的上层目录。
作业类型
Batch:离线应用。
Streaming:流应用。
SQL Engine:Spark Distribution SQL Engine。
完成上述参数配置后,单击确定创建应用模板。
创建Spark模板文件后,您可以在Spark开发编辑器中配置Spark应用。如何配置Spark应用,请参见Spark应用开发介绍。
Spark应用配置编写完成后,您可以进行以下操作。
单击保存,保存Spark应用,便于后续复用应用。
单击立即执行,执行Spark应用,应用列表会实时显示执行状态。
在执行Spark应用前,需要选择Job型资源组和应用类型。
查看Spark应用信息
在应用列表页签中,搜索应用ID,执行以下操作,查看目标Spark应用信息。
日志:查看当前Spark应用Driver的日志或SQL语句的执行日志。
UI:跳转到对应的Spark UI。UI自身有访问有效期限制,过期后需要重新进入。
详情:当前应用提交时的相关信息。如日志地址、Web UI地址、集群ID、资源组名称等。
停止:终止当前运行中的应用。
历史:查看当前应用的重试列表。
在执行历史页签中,查看所有应用的重试列表。
说明默认情况下,一个应用失败后不会进行重试。如需进行重试,请配置重试参数(spark.adb.maxAttempts和spark.adb.attemptFailuresValidityInterval)。更多信息,请参见Spark应用配置参数说明中的配置参数说明。