通过Spark-Submit命令行工具开发Spark应用

前提条件

• 集群的产品系列为企业版、基础版或湖仓版。

• 已创建Job型资源组。具体操作，请参见新建资源组。

• 集群与OSS存储空间位于相同地域。

• 已安装JDK，且JDK的版本为1.8及以上版本。

注意事项

通过Spark-Submit命令行工具进行作业开发时，仅支持提交Spark Jar应用，不支持提交Spark SQL。

下载并安装Spark-Submit

1. 执行以下命令，下载Spark-Submit命令行工具的安装包adb-spark-toolkit-submit-0.0.1.tar.gz。

   wget https://dla003.oss-cn-hangzhou.aliyuncs.com/adb-spark-toolkit-submit-0.0.1.tar.gz

2. 执行以下命令，解压并安装Spark-Submit。

   tar zxvf adb-spark-toolkit-submit-0.0.1.tar.gz

Spark应用配置参数

Spark-Submit安装包解压完成后，进入adb-spark-toolkit-submit/conf目录，执行vim spark-defaults.conf命令修改配置项。修改后，Spark-Submit命令行工具的脚本将自动读取配置文件中的信息，配置参数会对所有Spark应用生效。

Spark应用配置参数列表如下：

提交Spark应用

1. 将Spark应用依赖JAR包上传到OSS中，具体操作，请参见简单上传。

2. 执行以下命令，进入Spark-Submit工具的目录。

   cd adb-spark-toolkit-submit

3. 按如下格式提交应用。

   ./bin/spark-submit  \
   --class com.aliyun.spark.oss.SparkReadOss \
   --verbose \
   --name Job1 \
   --jars oss://testBucketname/jars/test.jar,oss://testBucketname/jars/search.jar\
   --conf spark.driver.resourceSpec=medium \
   --conf spark.executor.instances=1 \
   --conf spark.executor.resourceSpec=medium \
   oss://testBucketname/jars/test1.jar args0 args1

   说明

   Spark应用提交后，返回码说明如下：

   • 255：应用执行失败。

   • 0：应用执行成功。

   • 143：应用被Kill。

   参数说明如下。

   参数名称	参数说明
   --class	Java或者Scala程序入口类名称。Python不需要指定入口类。
   --verbose	打印出提交Spark过程中产生的日志。
   --name	Spark应用名称。
   --jars	Spark应用依赖的JAR包所在的路径，可以是本地路径或OSS路径。需为绝对路径。如果有多个JAR包，路径之间以英文逗号（,）分隔。 如果您配置本地路径，您需注意以下内容： RAM用户具备OSS的AliyunOSSFullAccess权限。 需在conf/spark-defaults.conf配置文件中设置ossUploadPath参数，指定本地文件资源上传到OSS的路径。 文件资源上传时，会使用md5校验文件内容，当指定的OSS路径中有相同文件名且md5相同时，将不再重复上传。 如果手动更新了OSS路径中的JAR包，请删除对应的md5文件。
   --conf	Spark应用的配置参数。 与开源Spark-Submit中的配置基本一致。与开源Spark-Submit用法不一致的配置参数及AnalyticDB for MySQL Spark-Submit特有的配置参数，请参见AnalyticDB for MySQL Spark-Submit与开源Spark-Submit的区别。 说明 配置多个conf时，格式为：--conf key1=value1 --conf key2=value2。
   oss://testBucketname/jars/test1.jar args0 args1	Spark应用主文件的存储路径，文件路径需为绝对路径。主文件是入口类所在的JAR包或者Python的入口执行文件。 说明 Spark应用主文件目前只支持存储在OSS中。
   args	请根据业务需求，填写使用JAR包时需要使用的参数。多个参数之间以空格分隔。

查看Spark应用列表

./bin/spark-submit --list --clusterId <cluster_Id>  --rgName <ResourceGroup_name> --pagenumber 1 --pagesize 3

参数说明：

• cluster_Id：AnalyticDB for MySQL集群的集群ID。

• ResourceGroup_name：执行Spark应用使用的Job型资源组名称。

查询Spark应用状态

./bin/spark-submit --status <appId>

appId可在Spark应用列表中查看，详情请参见查看Spark应用列表。

查询Spark应用提交参数和SparkUI

./bin/spark-submit --detail <appId>

appId可在Spark应用列表中查看，详情请参见查看Spark应用列表。

返回结果中Spark WEB UI字段即Spark UI地址。

查询Spark应用日志

./bin/spark-submit --get-log <appId>

appId可在Spark应用列表中查看，详情请参见查看Spark应用列表。

结束Spark应用

./bin/spark-submit --kill <appId>

appId可在Spark应用列表中查看，详情请参见查看Spark应用列表。

AnalyticDB for MySQL Spark-Submit与开源Spark-Submit的区别

AnalyticDB for MySQL Spark-Submit特有的参数

--list 
--pagenumber 1 
--pagesize 5

AnalyticDB for MySQL Spark-Submit不支持的开源Spark-Submit参数

AnalyticDB for MySQL Spark-Submit暂不支持开源Spark-Submit的配置参数。详情请参见AnalyticDB for MySQL不支持的配置参数。