AI 助理
文档备案控制台
官方文档
首页

基于eRDMA部署高网络性能的Spark集群

更新时间：
复制 MD 格式
产品详情
我的收藏

使用eRDMA可以获得超低的延迟，更快地处理请求。本文介绍如何创建以eRDMA增强型实例作为节点的Spark集群，并部署Benchmark测试Spark集群处理负载的性能。

背景信息

Benchmark是一种基准性能测试工具，主要用于测试负载的执行时间、传输速度、吞吐量和资源占用率等。

步骤一：准备环境

在测试集群性能前，需要先准备测试需要的集群环境，例如Hadoop和Spark机器、安装Hadoop、安装并配置eRDMA等。

  1. 准备Hadoop环境。如果已有大数据集群，请忽略该步骤。

    • 软硬件环境要求

      部署该集群需要准备Hadoop、Spark机器，请参考如下版本进行配置。

      • Hadoop版本：Hadoop 3.2.1

      • Spark版本：Spark 3.2.1

      • ECS实例：

        • 实例规格：请参见基本规格

        • vCPU个数：16

        • 集群节点个数：1个主节点、3个worker节点

    • 安装步骤

      安装Hadoop大数据集群的具体操作，请参见通过FastMR自动拉起大数据集群。

  2. 登录集群主节点上的ECS实例。

    具体操作，请参见使用Workbench登录Linux实例。

  3. 配置eRDMA。

    • 驱动安装

      具体操作，请参见在企业级实例上启用eRDMA。

    • 网络配置

      1. 执行以下命令，打开hosts文件。

        vim /etc/hosts

      2. 按i键进入编辑模式，在配置文件中修改以下内容。

        192.168.201.83 poc-t5m0        master1
192.168.201.84 poc-t5w0
192.168.201.86 poc-t5w1
192.168.201.85 poc-t5w2
        说明

        请根据实际情况，将IP地址替换为实际eRDMA网卡对应的IP地址。

      3. 按Esc键退出编辑模式，输入:wq并按下Enter键，保存并退出文件。

    • yarn配置

      说明

      如果实例的默认网卡支持eRDMA，无需进行Yarn配置。

      1. 依次执行以下命令，打开yarn-env.sh文件。

        cd /opt/hadoop-3.2.1/etc/hadoop
vim yarn-env.sh

      2. 按i键进入编辑模式，在配置文件中增加以下内容：

        RDMA_IP=`ip addr show eth1 | grep "inet\b" | awk '{print $2}' | cut -d/ -f1`
export YARN_NODEMANAGER_OPTS="-Dyarn.nodemanager.hostname=$RDMA_IP"
        说明

        请根据实际情况，将eth1替换为实际eRDMA的网卡名称。

      3. 按Esc键退出编辑模式，输入:wq并按下Enter键，保存并退出文件。

    • Spark配置

      说明

      如果实例的默认网卡支持eRDMA，无需进行Spark配置。

      1. 依次执行以下命令，打开spark-env.sh文件。

        cd /opt/spark-3.2.1-bin-hadoop3.2/conf
vim spark-env.sh

      2. 按i键进入编辑模式，在配置文件中增加以下内容。

        export SPARK_LOCAL_IP=`/sbin/ip addr show eth1 | grep "inet\b" | awk '{print $2}' | cut -d/ -f1`
        说明

        请根据实际情况，将eth1替换为实际eRDMA的网卡名称。

      3. 按Esc键退出编辑模式，输入:wq并按下Enter键，保存并退出文件。

  4. 执行以下命令，启动HDFS及Yarn。

    $HADOOP_HOME/sbin/start-all.sh

步骤二：下载Benchmark安装包

本步骤为您介绍如何下载用于测试的Benchmark安装包。

  1. 执行以下命令，下载Benchmark安装包。

    wget https://mracc-release.oss-cn-beijing.aliyuncs.com/erdma-spark/spark-erdma-jverbs.tar.gz

  2. 执行以下命令，解压spark-erdma-jverbs.tar.gz安装包。

    tar -zxvf spark-erdma-jverbs.tar.gz

    安装包文件介绍：

    • erdmalib：运行spark-erdma需要的native库，对应文件包括libdisni.so。

    • plugin-sparkrdma：支持Spark RDMA的插件及依赖库，对应文件为spark-eRDMA-1.0-for-spark-3.2.1.jar和disni-2.1-jar-with-dependencies.jar。

步骤三：执行Benchmark测试

本步骤为您介绍如何使用Benchmark测试Spark集群处理负载的性能。

  1. 执行以下命令，修改ip route。

    说明

    如果实例的默认网卡支持eRDMA，可以跳过该步骤。

    route del -net 192.168.201.0 netmask 255.255.255.0 metric 0 dev eth0 && \
route add -net 192.168.201.0 netmask 255.255.255.0 metric 1000 dev eth0
    说明

    请根据实际情况，将IP地址替换为实际eRDMA网卡对应的网关IP地址。

  2. Spark配置。

    1. 执行以下命令，打开配置文件spark-jverbs-erdma.conf。

      vim /opt/spark-3.2.1-bin-hadoop3.2/conf/spark-jverbs-erdma.conf

    2. 按i键进入编辑模式，将配置文件修改为以下内容。

      spark.master yarn
spark.deploy-mode client
#driver
spark.driver.cores 4
spark.driver.memory 19g
#executor
spark.executor.instances 12
spark.executor.memory 10g
spark.executor.cores 4
spark.executor.heartbeatInterval   60s
#shuffle
spark.task.maxFailures 4
spark.default.parallelism 36
spark.sql.shuffle.partitions 192
spark.shuffle.compress            true
spark.shuffle.spill.compress      true

#other
spark.network.timeout 3600
spark.sql.broadcastTimeout 3600
spark.eventLog.enabled             false
spark.eventLog.dir                 hdfs://master1:9000/sparklogs
spark.eventLog.compress            true
spark.yarn.historyServer.address   master1:18080
spark.serializer                  org.apache.spark.serializer.KryoSerializer

#eRDMA
spark.driver.extraLibraryPath   /path/erdmalib
spark.executor.extraLibraryPath   /path/erdmalib
spark.driver.extraClassPath       /path/spark-eRDMA-1.0-for-spark-3.2.1.jar:/path/disni-2.1-jar-with-dependencies.jar
spark.executor.extraClassPath     /path/spark-eRDMA-1.0-for-spark-3.2.1.jar:/path/disni-2.1-jar-with-dependencies.jar
spark.shuffle.manager org.apache.spark.shuffle.sort.RdmaShuffleManager
spark.shuffle.sort.io.plugin.class org.apache.spark.shuffle.rdma.RdmaLocalDiskShuffleDataIO
spark.shuffle.rdma.recvQueueDepth  128
      说明

      • 将spark.shuffle.compress设置为false会得到更好的加速比。

      • 本配置中的spark.executor.instances、spark.executor.memory、spark.executor.cores、spark.sql.shuffle.partitions等Spark资源配置以32 vCPU、128 GB规格的实例为例，请您根据实际实例或者集群规模进行调整。

    3. 按Esc键退出编辑模式，输入:wq并按下Enter键，保存并退出文件。

  3. 依次执行以下命令，生成数据。

    cd /opt/spark-3.2.1-bin-hadoop3.2/conf
spark-submit --properties-file /opt/spark-3.2.1-bin-hadoop3.2/conf/spark-normal.conf --class com.databricks.spark.sql.perf.tpcds.TPCDS_Bench_DataGen spark-sql-perf_2.12-0.5.1-SNAPSHOT.jar hdfs://master1:9000/tmp/tpcds_400 tpcds_400 400 parquet
    说明

    数值400代表生成的数据量大小，单位为GB，请您根据实际集群规模调整。

  4. 执行以下命令，执行Benchmark测试。

    spark-submit --properties-file /opt/spark-3.2.1-bin-hadoop3.2/conf/spark-jverbs-erdma.conf --class com.databricks.spark.sql.perf.tpcds.TPCDS_Bench_RunAllQuery spark-sql-perf_2.12-0.5.1-SNAPSHOT.jar all hdfs://master1:9000/tmp/tpcds_400 tpcds_400 /tmp/tpcds_400_result

    当出现如下类似结果时，表示测试完成，您可以从测试结果中查看Spark集群处理负载的执行时间。

    22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 371.0 in stage 1.0 (TID 755) in 31 ms on c7re4x004 (executor 1) (372/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 372.0 in stage 1.0 (TID 756) in 29 ms on c7re4x004 (executor 1) (373/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 376.0 in stage 1.0 (TID 760) in 23 ms on c7re4x004 (executor 1) (374/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 374.0 in stage 1.0 (TID 758) in 27 ms on c7re4x004 (executor 1) (375/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 373.0 in stage 1.0 (TID 757) in 31 ms on c7re4x004 (executor 1) (376/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 377.0 in stage 1.0 (TID 761) in 24 ms on c7re4x004 (executor 1) (377/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 375.0 in stage 1.0 (TID 759) in 29 ms on c7re4x004 (executor 1) (378/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 381.0 in stage 1.0 (TID 765) in 53 ms on c7re4x004 (executor 1) (379/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 380.0 in stage 1.0 (TID 764) in 53 ms on c7re4x004 (executor 1) (380/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 379.0 in stage 1.0 (TID 763) in 56 ms on c7re4x004 (executor 1) (381/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 382.0 in stage 1.0 (TID 766) in 55 ms on c7re4x004 (executor 1) (382/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 378.0 in stage 1.0 (TID 762) in 56 ms on c7re4x004 (executor 1) (383/384)
22/06/10 15:35:40 INFO scheduler.TaskSetManager: Finished task 383.0 in stage 1.0 (TID 767) in 53 ms on c7re4x004 (executor 1) (384/384)
22/06/10 15:35:40 INFO cluster.YarnScheduler: Removed TaskSet 1.0, whose tasks have all completed, from pool
22/06/10 15:35:40 INFO scheduler.DAGScheduler: ResultStage 1 (runJob at SparkHadoopWriter.scala:78) finished in 1.599 s
22/06/10 15:35:40 INFO scheduler.DAGScheduler: Job 0 finished: runJob at SparkHadoopWriter.scala:78, took 7.308027 s
22/06/10 15:35:40 INFO io.SparkHadoopWriter: Job job_20220610153533_0002 committed.
22/06/10 15:35:40 INFO server.AbstractConnector: Stopped Spark@1cfd3b14{HTTP/1.1,[http/1.1]}{192.168.145.101:4040}
22/06/10 15:35:40 INFO ui.SparkUI: Stopped Spark web UI at http://c7re4x001:4040
22/06/10 15:35:41 INFO cluster.YarnClientSchedulerBackend: Interrupting monitor thread
22/06/10 15:35:41 INFO cluster.YarnClientSchedulerBackend: Shutting down all executors
22/06/10 15:35:41 INFO cluster.YarnSchedulerBackend$YarnDriverEndpoint: Asking each executor to shut down
22/06/10 15:35:41 INFO cluster.SchedulerExtensionServices: Stopping SchedulerExtensionServices
(serviceOption=None,
 services=List(),
 started=false)
22/06/10 15:35:41 INFO cluster.YarnClientSchedulerBackend: Stopped
22/06/10 15:35:41 INFO spark.MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
22/06/10 15:35:41 INFO memory.MemoryStore: MemoryStore cleared
22/06/10 15:35:41 INFO storage.BlockManager: BlockManager stopped
22/06/10 15:35:41 INFO storage.BlockManagerMaster: BlockManagerMaster stopped
22/06/10 15:35:41 INFO scheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
22/06/10 15:35:41 INFO spark.SparkContext: Successfully stopped SparkContext
22/06/10 15:35:41 INFO util.ShutdownHookManager: Shutdown hook called
22/06/10 15:35:41 INFO util.ShutdownHookManager: Deleting directory /mnt/data/spark_tmp/spark-d363e35b-badc-43ba-9fa9-476a9301f65c
22/06/10 15:35:41 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-87ef4db1-7c2f-4f23-b989-f27b9bd9ac28
    说明

    您可以按照以上方法，去掉Spark conf中eRDMA插件相关配置或者登录其他不支持eRDMA的集群，对Spark eRDMA插件的性能做对比。

上一篇：基于eRDMA部署SMC-R和Redis下一篇：基于eRDMA部署高网络性能的Kafka集群