Spark应用配置指南

离线应用

应用包含Batch、Streaming和SQL，其中Batch为离线应用，任务执行时需要入口类所在的JAR包或Python文件。根据业务的不同，可能还需要提供入口类参数、执行依赖的JAR包、Python执行环境沙箱等。

云原生数据仓库AnalyticDB MySQL版Spark离线应用的编写方法与社区Spark-Submit工具的命令行参数类似。

离线应用配置示例

 {
  "args": ["oss://${testBucketName}/data/test/test.csv"],
  "name": "spark-oss-test",
  "file": "oss://${testBucketName/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
  "className": "com.aliyun.spark.oss.SparkReadOss",
  "conf": {
    "spark.driver.resourceSpec": "medium",
    "spark.executor.resourceSpec": "medium",
    "spark.executor.instances": 2,
    "spark.adb.connectors": "oss"
  }
}

SQL应用

AnalyticDB MySQL版Spark支持在控制台直接提交Spark SQL。无需用户打包JAR包或者写Python代码，更利于数据开发人员使用Spark进行数据分析。提交Spark SQL时需要指定应用类型为SQL。

SQL应用配置示例

-- Here is just an example of SparkSQL. Modify the content and run your spark program.

conf spark.driver.resourceSpec=medium;
conf spark.executor.instances=2;
conf spark.executor.resourceSpec=medium;
conf spark.app.name=Spark SQL Test;
conf spark.adb.connectors=oss;

-- Here are your sql statements
show databases;

Spark SQL支持的命令类型

Spark编辑器支持编辑SQL语句，每条SQL语句以英文分号（;）分隔。

切换元数据服务

conf配置参数说明

AnalyticDB MySQL版Spark配置项跟社区Spark中的配置项基本一致。本章节介绍AnalyticDB MySQL与社区Spark用法不一致的配置参数及AnalyticDB MySQL特有的配置参数。

• 指定Driver和Executor资源
  重要 此用法与社区Spark不同。
  spark.driver.resourceSpec与spark.executor.resourceSpec参数取值相同。

  参数名称	使用说明	对应社区Spark参数
  spark.driver.resourceSpec	Spark driver的资源规格。不同型号的取值对应不同的规格，详情请参见Spark资源规格列表的型号列。 例如CONF spark.driver.resourceSpec = c.small;，则Spark driver的资源规格为1核2 GB。	spark.driver.cores及spark.driver.memory
  spark.executor.resourceSpec	Spark executor的资源规格。不同型号的取值对应不同的规格，详情请参见Spark资源规格列表的型号列。 例如CONF spark.executor.resourceSpec = c.small;，则Spark executor的资源规格为1核2 GB。	spark.executor.cores及spark.executor.memory

• Spark UI

  参数名称	默认值	参数说明
  spark.app.log.rootPath	无	存储AnalyticDB MySQL版Spark应用执行时产生的日志以及SparkUI EventLog的目录。目前只支持用户手动填写用于存储日志的OSS路径。如果不填写，则无法在应用结束后看到日志，也无法在应用结束后打开Spark UI。

• RAM用户运维Spark

  参数名称	默认值	参数说明
  spark.adb.roleArn	无	在RAM系统中授予提交Spark应用的RAM用户的Role Arn，详情请参见RAM角色概览。RAM用户提交应用需要填写该参数，阿里云账号无需提交该参数。

• AnalyticDB MySQL版Spark内置数据源连接器

  参数名称	默认值	参数说明
  spark.adb.connectors	无	启用AnalyticDB MySQL版Spark内置的连接器，连接器名称以逗号分隔，目前可选的连接器有OSS、hbase1.x、tablestore。
  spark.hadoop.io.compression.codec.snappy.native	false	标识Snappy文件是否为标准Snappy文件。Hadoop默认识别的是Hadoop修改过的Snappy格式文件。设置为true时将使用标准Snappy库解压，否则使用hadoop默认的Snappy库解压。

• 访问VPC和连接数据源

  参数名称	默认值	参数说明
  spark.adb.eni.vswitchId	无	开启VPC功能，配置弹性网卡的交换机ID。如果用户有ECS可以访问目标数据源，那么可以直接使用该ECS的交换机ID。
  spark.adb.eni.securityGroupId	无	开启VPC功能，用于弹性网卡的安全组ID。如果用户有ECS可以访问目标数据源，那么可以直接使用该ECS的安全组ID。
  spark.adb.eni.extraHosts	无	需要额外传入的IP和Host的映射关系，以便Spark能正确解析数据源中的Host。如连接自建的Hive数据源，则需要传入此参数。 说明 IP和Host之间用空格分隔。多个IP和域名用英文逗号（,）分隔，如"ip0 master0, ip1 master1"。

• Spark SQL连接AnalyticDB MySQL元数据

  参数名称	默认值	参数说明
  spark.sql.hive.metastore.version	无	指定Hive MetaStore的版本。配置为ADB时，可以连接AnalyticDB MySQL中的元数据信息，读取AnalyticDB MySQL的表信息。

• 应用重试

  参数名称	默认值	参数说明
  spark.adb.maxAttempts	1	最大尝试次数，默认值为1，代表不需要重试。 假设配置为3，则这个应用在一个滑动窗口期时间内最多尝试3次。
  spark.adb.attemptFailuresValidityInterval	Long.MAX	重试计数的滑动窗口时间，单位：毫秒（ms）。 假设配置为6000，那么当一次重试失败后，系统会计算过去6000ms总共进行了多少次重试，如果重试次数少于maxAttempts的配置值，则会继续重试。

• 源配置

  参数名称	默认值	参数说明
  spark.adb.driver.cpu-vcores-ratio	1	Driver虚拟Core与实际CPU Core之间的比例。假设Driver是Medium规格（2Core8 GB），本参数值设置为2，那么Driver进程可以按照4个Core进行并发控制，相当于spark.driver.cores=4。
  spark.adb.executor.cpu-vcores-ratio	1	Executor虚拟Core与实际CPU Core之间的比例。当单个Task的CPU使用率比较低时，可以通过该配置，提升CPU利用效率。假设Executor是Medium规格（2Core8 GB），本参数值设置为2，那么Executor进程可以按照4个Core进行并发控制，也就是同时调度4个并发任务，相当于spark.executor.cores=4。

Spark资源规格列表