通过spark-submit命令行工具开发Spark应用

前提条件

已安装Java 1.8或以上版本。

下载并安装AnalyticDB MySQL Spark-Submit

1. 在Linux命令行工具，执行以下命令，下载AnalyticDB MySQL Spark-Submit安装包adb-spark-toolkit-submit-0.0.1.tar.gz。

   wget https://dla003.oss-cn-hangzhou.aliyuncs.com/adb-spark-toolkit-submit-0.0.1.tar.gz

2. 执行以下命令，解压并安装AnalyticDB MySQL Spark-Submit。

   tar zxvf adb-spark-toolkit-submit-0.0.1.tar.gz

参数配置

AnalyticDB MySQL Spark离线应用的Conf配置参数既可以直接在conf/spark-defaults.conf配置文件中修改，也可以通过命令行修改。推荐在conf/spark-defaults.conf配置文件中修改，AnalyticDB MySQL Spark-Submit命令行工具的脚本将自动读取Conf配置文件中的信息。如果您通过命令行方式修改了Conf配置参数取值，配置文件中的参数不会被覆盖，离线应用的配置将按照命令行中的配置生效。

1. AnalyticDB MySQL Spark-Submit安装包解压完成后，执行以下命令，进入修改adb-spark-toolkit-submit/conf/spark-defaults.conf配置项。

   vim adb-spark-toolkit-submit/conf/spark-defaults.conf

2. 推荐按照如下内容对文件进行配置，参数格式为key=value，示例如下。

   keyId = yourAkId
   secretId = yourAkSec
   regionId = cn-hangzhou
   clusterId = amv-bp15f9q95p****
   rgName = sg-default
   ossUploadPath = oss://<bucket_name>/sparkjars/
   spark.driver.resourceSpec = medium
   spark.executor.instances = 2
   spark.executor.resourceSpec = medium
   spark.adb.roleArn = arn:1234567/adbsparkprocessrole
   spark.adb.eni.vswitchId = vsw-defaultswitch
   spark.adb.eni.securityGroupId = sg-defaultgroup
   spark.app.log.rootPath = oss://<bucket_name>/sparklogs/

   重要

   • 请将参数取值替换为真实值。

   • 示例中的参数keyId、secretId、regionId、clusterId、rgName、ossKeyId、和ossUploadPath仅AnalyticDB MySQL Spark-Submit命令行工具支持，参数说明请参见参数配置说明。

     这些参数也可以在提交Spark作业的命令行中配置。格式为--key1 value1 --key2 value2。或变更参数名称通过Spark Conf配置，详情请参见配置兼容性说明。

   • 示例中其他参数说明及AnalyticDB MySQL Spark-Submit命令行工具支持的所有Conf参数，请参见Spark应用配置参数说明。

   表 1. 参数配置说明

   参数	参数说明	是否必选
   keyId	执行Spark作业使用的阿里云账号或RAM用户的AccessKey ID。如何查看AccessKey ID，请参见账号与权限。	是
   secretId	阿里云账号或RAM用户的AccessKeySecret。	是
   regionId	湖仓版（3.0）集群所在地域的地域ID。	是
   clusterId	AnalyticDB MySQL湖仓版（3.0）集群的ID。	是
   rgName	执行Spark作业使用的湖仓版（3.0）集群的资源组名称。	是
   ossKeyId	创建OSS Bucket使用的阿里云账号或RAM用户的AccessKey ID。 当JAR包存储在本地路径中，需要上传JAR包时，可配置OSS参数将本地的JAR包自动上传到OSS路径中。	否
   ossSecretId	创建OSS Bucket使用的阿里云账号或RAM用户的AccessKeySecret。	否
   ossEndpoint	OSS内网Endpoint。OSS地域与Endpoint的对应关系，请参见访问域名和数据中心。	否
   ossUploadPath	配置JAR包所在的OSS路径。	否

配置兼容性说明

--conf spark.adb.access.key.id=<value>    
--conf spark.adb.access.secret.id=<value>
--conf spark.adb.regionId=<value>
--conf spark.adb.clusterId=<value>
--conf spark.adb.rgName=<value>
--conf spark.adb.oss.akId=<value>
--conf spark.adb.oss.akSec=<value>
--conf spark.adb.oss.endpoint=<value>
--conf spark.adb.oss.uploadPath=<value>

提交Spark作业

1. 执行以下命令，进入Spark-Submit工具的目录。

   cd adb-spark-toolkit-submit

2. 按如下格式提交作业。

   ./bin/spark-submit  \
   --class com.aliyun.spark.oss.SparkReadOss \
   --verbose \
   --name <your_job_name> \
   --jars oss://<bucket-name>/jars/xxx.jar,oss://<bucket-name>/jars/xxx.jar\
   --conf spark.driver.resourceSpec=medium \
   --conf spark.executor.instances=1 \
   --conf spark.executor.resourceSpec=medium \
   oss://<bucket-name>/jars/xxx.jar args0 args1

   说明

   Spark作业提交后，返回码说明如下：

   • 255：作业执行失败。

   • 0：作业执行成功。

   • 143：作业被Kill。

查看Spark作业列表

./bin/spark-submit --list --clusterId <cluster_Id>  --rgName <ResourceGroup_name> --pagenumber 1 --pagesize 3

查询Spark作业状态

./bin/spark-submit --status <appId>

appId可在Spark作业列表中查看，详情请参见查看Spark作业列表。

Spark作业状态列表，详情请参见SparkAppInfo。

查询Spark作业提交参数和SparkUI

./bin/spark-submit --detail <appId>

appId可在Spark作业列表中查看，详情请参见查看Spark作业列表。

返回结果中Spark WEB UI字段即Spark UI地址。

查询Spark作业日志

./bin/spark-submit --get-log <appId>

appId可在Spark作业列表中查看，详情请参见查看Spark作业列表。

结束Spark作业

./spark-submit --kill <appId>

appId可在Spark作业列表中查看，详情请参见查看Spark作业列表。

AnalyticDB MySQL Spark-Submit与开源Spark-Submit的区别

AnalyticDB MySQL Spark-Submit特有的参数

--list 
--pagenumber 1 
--pagesize 5

AnalyticDB MySQL Spark-Submit不支持的开源Spark-Submit参数

AnalyticDB MySQL Spark-Submit暂不支持开源Spark-Submit的配置参数。详情请参见AnalyticDB MySQL不支持的配置参数。