Lindorm Spark节点

上传Jar资源

您需将示例Jar包资源上传至LindormDFS中，并复制Jar资源存储路径，以供后续在节点中配置引用。

1. 准备示例Jar包资源。

   将该示例Jar包资源spark-examples_2.12-3.3.0.jar下载到本地。

2. 上传Jar包资源到LindormDFS。

   1. 登录Lindorm管理控制台，在对应地域的实例列表中，找到您所创建的Lindorm实例。

   2. 单击该实例名称，进入实例详情页。

   3. 在左侧导航栏中，单击计算引擎，进入计算引擎页面。

   4. 在作业管理页签中单击上传资源按钮，进入上传资源页面。

   5. 单击上传虚线框区域，找到并打开您下载到本地的Jar包资源。

   6. 单击上传，完成Jar包资源的上传。

3. 复制示例Jar资源存储路径。

   在作业管理页签，找到上传资源按钮下方您所上传的Jar包资源，单击资源文件左侧的图标，即可复制您所上传的Jar资源在LindormDFS的存储路径。

配置节点内容

您可参照以下参数配置信息，配置Lindorm Spark节点内容。

上传Python资源

您需将示例Python资源文件上传至LindormDFS中，并复制Jar资源存储路径，以供后续在节点中配置引用。

1. 创建Python资源文件。

   您可以将下面提供的Python脚本保存为本地文件，并命名为 pi.py。

   import sys
   from random import random
   from operator import add
   
   from pyspark.sql import SparkSession
   
   if __name__ == "__main__":
       """
           Usage: pi [partitions]
       """
       spark = SparkSession\
           .builder\
           .appName("PythonPi")\
           .getOrCreate()
   
       partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
       n = 100000 * partitions
   
       def f(_: int) -> float:
           x = random() * 2 - 1
           y = random() * 2 - 1
           return 1 if x ** 2 + y ** 2 <= 1 else 0
   
       count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
       print("Pi is roughly %f" % (4.0 * count / n))
   
       spark.stop()
   

2. 上传Python资源文件到LindormDFS。

   1. 登录Lindorm管理控制台，在对应地域的实例列表中，找到您所创建的Lindorm实例。

   2. 单击该实例名称，进入实例详情页。

   3. 在左侧导航栏中，单击计算引擎，进入计算引擎页面。

   4. 在作业管理页签中单击上传资源按钮，进入上传资源页面。

   5. 单击上传虚线框区域，找到并打开您在本地创建的Python资源文件。

   6. 单击上传，完成Python资源文件的上传。

3. 复制示例Python资源文件存储路径。

   在作业管理页签，找到上传资源按钮下方您所上传的Python资源文件，单击资源文件左侧的图标，即可复制您所上传的Python资源文件在LindormDFS的存储路径。

配置节点内容

您可参照以下参数配置信息，配置Lindorm Spark节点内容。