搭建Linux开发环境

搭建Spark开发环境前，请确保您已经在Linux操作系统中安装如下软件：

• JDK

  安装命令示例如下。JDK名称请以实际为准。具体的JDK名称可通过执行sudo yum -y list java*获取。

  sudo yum install -y java-1.8.0-openjdk-devel.x86_64

• Python

  安装命令示例如下。Python包名称请以实际为准。

  # 获取Python包。
  sudo wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz
  # 解压缩Python包。
  sudo tar -zxvf Python-2.7.10.tgz
  # 切换到解压后的目录，指定安装路径。
  cd Python-2.7.10
  sudo ./configure --prefix=/usr/local/python2
  # 编译并安装Python。
  sudo make
  sudo make install

• Maven

  安装命令示例如下。Maven包路径请以实际为准。

  # 获取Maven包。
  sudo wget https://dlcdn.apache.org/maven/maven-3/3.8.7/binaries/apache-maven-3.8.7-bin.tar.gz
  # 解压缩Maven包。
  sudo tar -zxvf apache-maven-3.8.7-bin.tar.gz

• Git

  安装命令示例如下。

  # 获取Git包。
  sudo wget https://github.com/git/git/archive/v2.17.0.tar.gz
  # 解压缩Git包。
  sudo tar -zxvf v2.17.0.tar.gz
  # 安装编译源码所需依赖。
  sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker
  # 切换到解压后的目。
  cd git-2.17.0
  # 编译。
  sudo make prefix=/usr/local/git all
  # 安装Git至/usr/local/git路径。
  sudo make prefix=/usr/local/git install

Spark on MaxCompute发布包集成了MaxCompute认证功能。作为客户端工具，它通过Spark-Submit方式提交作业到MaxCompute项目中运行。MaxCompute提供了面向Spark1.x、Spark2.x和Spark3.x发布包，下载路径如下：

• Spark-1.6.3：适用于Spark1.x应用的开发。

• Spark-2.3.0：适用于Spark2.x应用的开发。

• Spark-2.4.5：适用于Spark2.x应用的开发。使用Spark-2.4.5的注意事项请参见Spark 2.4.5使用注意事项。

• Spark-3.1.1：适用于Spark3.x应用的开发。使用Spark-3.1.1的注意事项请参见Spark 3.1.1使用注意事项。

将Spark on MaxCompute客户端包上传至Linux操作系统中，并解压。您可以进入Spark客户端包所在目录，执行如下命令解压包。

sudo tar -xzvf spark-2.3.0-odps0.33.0.tar.gz

第一次使用Spark on MaxCompute客户端时，请在Spark客户端包的解压路径下，将conf文件夹下的spark-defaults.conf.template文件重命名为spark-defaults.conf后再进行相关配置。如果没有对文件进行重命名，将会导致配置无法生效。命令示例如下。

# 切换至Spark客户端包的解压路径，并进入conf文件夹。请以实际路径为准。
cd /home/spark-2.3.0-odps0.33.0/conf

# 修改文件名。
mv spark-defaults.conf.template spark-defaults.conf

# 编辑spark-defaults.conf。
vim spark-defaults.conf
# 按下i进入编辑状态后，在配置文件末尾添加如下配置信息。
spark.hadoop.odps.project.name = <MaxCompute_project_name>  
spark.hadoop.odps.access.id = <AccessKey_id>     
spark.hadoop.odps.access.key = <AccessKey_secret>
spark.hadoop.odps.end.point = <Endpoint>   # Spark客户端连接访问MaxCompute项目的Endpoint，您可以根据自己情况进行修改。详情请参见Endpoint。
# spark 2.3.0请将spark.sql.catalogImplementation设置为odps，spark 2.4.5请将spark.sql.catalogImplementation设置为hive。
spark.sql.catalogImplementation={odps|hive} 
# 如下参数配置保持不变
spark.hadoop.odps.task.major.version = cupid_v2
spark.hadoop.odps.cupid.container.image.enable = true
spark.hadoop.odps.cupid.container.vm.engine.type = hyper
spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

Spark on MaxCompute提供了项目工程模板，建议您下载模板复制后直接在模板里开发。

准备项目工程命令示例如下：

• 下载Spark-1.x模板并编译

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-1.x
  mvn clean package

• 下载Spark-2.x 模板并编译

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-2.x
  mvn clean package

• 下载Spark-3.x 模板并编译

  git clone https://github.com/aliyun/MaxCompute-Spark.git
  cd MaxCompute-Spark/spark-3.x
  mvn clean package

用户在开发过程中涉及到如下场景时，需要引用外部文件：

• 作业需要读取一些配置文件。

• 作业需要额外的资源包或第三方库。例如JAR包、Python库。

在实际操作中，您需要先上传文件后才可以引用文件，上传文件方式有以下两种，任选其中一种即可：

• 方式一：通过Spark参数上传文件

  Spark on MaxCompute支持Spark社区版原生的--jars、--py-files、--files、--archives参数，您可以在提交作业时，通过这些参数上传文件，这些文件在作业运行时会被上传到用户的工作目录下。

  • 通过Spark on MaxCompute客户端，使用Spark-Submit方式上传文件。

    说明

    • --jars：会将配置的JAR包上传至Driver和Executor的当前工作目录，多个文件用英文逗号（,）分隔。这些JAR包都会加入Driver和Executor的Classpath。在Spark作业中直接通过"./your_jar_name"即可引用，与社区版Spark行为相同。

    • --files、--py-files：会将配置的普通文件或Python文件上传至Driver和Executor的当前工作目录，多个文件用英文逗号（,）分隔。在Spark作业中直接通过"./your_file_name"即可引用，与社区版Spark行为相同。

    • --archives：与社区版Spark行为略有不同，多个文件用英文逗号（,）分隔，配置方式为xxx#yyy，会将配置的归档文件（例如.zip）解压到Driver和Executor的当前工作目录的子目录中。例如当配置方式为xx.zip#yy时，应以"./yy/xx/"引用到归档文件中的内容；当配置方式为xx.zip时，应以"./xx.zip/xx/"引用到归档文件中的内容。如果一定要将归档内容直接解压到当前目录，即直接引用"./xxx/"，请使用下文中的spark.hadoop.odps.cupid.resources参数进行配置。

  • 通过DataWorks，添加作业需要的资源，操作详情请参见创建并使用MaxCompute资源。

    说明

    DataWorks中上传资源限制最大为200 MB，如果需要使用更大的资源，您需要通过MaxCompute客户端将资源上传为MaxCompute资源，并将资源添加至数据开发面板。更多MaxCompute资源信息，请参见MaxCompute资源管理。

• 方式二：通过MaxCompute资源上传文件

  Spark on MaxCompute提供spark.hadoop.odps.cupid.resources参数，可以直接引用MaxCompute中的资源，这些资源在作业运行时会被上传到用户的工作目录下。使用方式如下：

  1. 通过MaxCompute客户端将文件上传至MaxCompute项目。单个文件最大支持500 MB。

  2. 在Spark作业配置中添加spark.hadoop.odps.cupid.resources参数，指定Spark作业运行所需要的MaxCompute资源。格式为<projectname>.<resourcename>，如果需要引用多个文件，需要用英文逗号（,）分隔。配置示例如下：

     spark.hadoop.odps.cupid.resources=public.python-python-2.7-ucs4.zip,public.myjar.jar

     指定的资源将被下载到Driver和Executor的当前工作目录，资源下载到工作目录后默认名称是<projectname>.<resourcename>。

     此外，您可以在配置时通过<projectname>.<resourcename>:<newresourcename>方式重命名资源名称。配置示例如下：

     spark.hadoop.odps.cupid.resources=public.myjar.jar:myjar.jar

     重要

     该配置项必须在spark-defaults.conf或DataWorks的配置项中进行配置才能生效，不能写在代码中。

通过上述两种方式将文件上传后，即可在代码中引用文件，文件读取示例如下：

val targetFile = "文件名"
val file = Source.fromFile(targetFile)
for (line <- file.getLines)
    println(line)
file.close

完成以上的工作之后，执行冒烟测试，验证Spark on MaxCompute是否可以端到端连通。以Spark-2.x为例，您可以提交一个SparkPi验证功能是否正常，提交命令如下。

# /path/to/MaxCompute-Spark请指向正确的编译出来后的应用程序的Jar包。
cd $SPARK_HOME
bin/spark-submit \
--class com.aliyun.odps.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
/path/to/your/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar

# 当看到以下日志表明冒烟作业成功。
19/06/11 11:57:30 INFO Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 11.222.166.90
         ApplicationMaster RPC port: 38965
         queue: queue
         start time: 1560225401092
         final status: SUCCEEDED

通常，本地调试成功后会在集群上执行代码。但是Spark可以支持在IDEA里以Local模式直接运行代码，运行时请注意以下几点：

• 代码需要手动设置spark.master。

  val spark = SparkSession
        .builder()
        .appName("SparkPi")
        .config("spark.master", "local[4]") // 需要设置spark.master为local[N]才能直接运行，N为并发数。
        .getOrCreate()

• 在IDEA里手动添加Spark on MaxCompute客户端的相关依赖。

  <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.binary.version}</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope> 
  </dependency>

  pom.xml中设置要求scope为provided，所以运行时会出现NoClassDefFoundError报错。

  Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
      at com.aliyun.odps.spark.examples.SparkPi$.main(SparkPi.scala:27)
      at com.aliyun.odps.spark.examples.Spa。r。kPi.main(SparkPi.scala)
  Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
      at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
      at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
      at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
      at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
      ... 2 more

  您可以按照以下方式手动将Spark on MaxCompute下的Jars目录加入IDEA模板工程项目中，既可以保持scope=provided，又能在IDEA里直接运行不报错：

  1. 在IDEA中单击顶部菜单栏上的File，选中Project Structure…。

  2. 在Project Structure页面，单击左侧导航栏上的Modules。选择资源包，并单击资源包的Dependencies页签。

  3. 在资源包的Dependencies页签下，单击左下角的+，选择JARs or directories…添加Spark on MaxCompute下的Jars目录。

• Local不能直接引用spark-defaults.conf里的配置，需要手动指定相关配置。

  通过Spark-Submit方式提交作业，系统会读取spark-defaults.conf文件中的配置。通过Local模式提交作业，需要手动在代码里指定相关配置。例如，在Local模式下如果要通过Spark-Sql读取MaxCompute的表，配置如下。

  val spark = SparkSession
        .builder()
        .appName("SparkPi")
        .config("spark.master", "local[4]") // 需设置spark.master为local[N]才能直接运行，N为并发数。
        .config("spark.hadoop.odps.project.name", "****")
        .config("spark.hadoop.odps.access.id", "****")
        .config("spark.hadoop.odps.access.key", "****")
        .config("spark.hadoop.odps.end.point", "http://service.cn.maxcompute.aliyun.com/api")
        .config("spark.sql.catalogImplementation", "odps")
        .getOrCreate()