Intel MPI Benchmarks

简介

IMB (Intel MPI Benchmarks) 用于评估HPC集群在不同消息粒度下节点间点对点、全局通信的效率。

准备工作

若您尚未拥有E-HPC集群，请先创建E-HPC集群

• 运行以下示例需要在创建集群时或者软件管理界面上选择安装intel-mpi-benchmarks软件包和intel-mpi通信库

IMB测试方法说明

$ /opt/intel-mpi-benchmarks/2019/IMB-MPI1 -h   #查看IMB支持的通信模式及参数说明
$ cd /home/<user>/<work_dir>    #非root用户下执行
$ /opt/intel/impi/2018.3.222/bin64/mpirun -genv I_MPI_DEBUG 5 -np 2 -ppn 1 -host <node0>,<node1> /opt/intel-mpi-benchmarks/2019/IMB-MPI1 pingpong   #测试两节点间pingpong通信模式效率，获取通信延迟和带宽
$ /opt/intel/impi/2018.3.222/bin64/mpirun -genv I_MPI_DEBUG 5 -np <N*2> -ppn 2 -host <node0>,...,<nodeN> /opt/intel-mpi-benchmarks/2019/IMB-MPI1 -npmin 2 -msglog 19:21 allreduce   #测试N节点间allreduce通信模式效率，每个节点开启两个进程，获取不同消息粒度下的通信时间
$ /opt/intel/impi/2018.3.222/bin64/mpirun -genv I_MPI_DEBUG 5 -np <N> -ppn 1 -host <node0>,...,<nodeN> /opt/intel-mpi-benchmarks/2019/IMB-MPI1 -npmin 1 -msglog 15:17 alltoall   #测试N节点间alltoall通信模式效率，每个节点开启一个进程，获取不同消息粒度下的通信时间
############关键参数说明#############
-genv I_MPI_DEBUG 打印mpi debug信息
-np 指定mpi总进程数
-ppn 指定每个节点的进程数
-host 指定任务节点列表
-npmin 指定至少运行的进程数
-msglog 指定消息片粒度范围

运行IMB测试

• E-HPC控制台创建IMB.pbs作业脚本

在作业管理界面中，依次选择“创建作业”->“新建文件”->“使用文件模板”->“pbs demo”，对pbs demo脚本进行修改，得到IMB作业脚本IMB.pbs如下。

#!/bin/sh
#PBS -j oe
#PBS -l select=2:ncpus=<N>:mpiprocs=1   #N为节点CPU核数，实际测试中根据节点配置进行设置
export MODULEPATH=/opt/ehpcmodulefiles/
module load intel-mpi/2018
module load intel-mpi-benchmarks/2019
echo "run at the beginning"
/opt/intel/impi/2018.3.222/bin64/mpirun -genv I_MPI_DEBUG 5 -np 2 -ppn 1 -host compute0,compute1 /opt/intel-mpi-benchmarks/2019/IMB-MPI1 pingpong > IMB-pingpong

• E-HPC控制台提交IMB测试作业

确定下图左侧作业基本参数后，点击右上角“确认”提交作业。作业个性化配置、作业导入、作业导出以及作业状态查看，请参见作业管理。

• E-HPC控制台查看结果文件

从E-HPC管理控制台，点选集群右侧“更多”选项，选择“执行命令”，进入集群命令运行界面。点击“批量执行”，选择集群登录/管控节点执行命令，查看IMB作业结果文件。