使用HPL测试E-HPC集群浮点性能_弹性高性能计算(E-HPC)-阿里云帮助中心

本文介绍如何使用HPL测试E-HPC集群的浮点性能。

背景信息

HPL（The High-Performance Linpack Benchmark）是测试高性能计算集群系统浮点性能的基准。HPL通过对高性能计算集群采用高斯消元法求解一元N次稠密线性代数方程组的测试，评价高性能计算集群的浮点计算能力。

浮点计算峰值是指计算机每秒可以完成的浮点计算次数，包括理论浮点峰值和实测浮点峰值。理论浮点峰值是该计算机理论上每秒可以完成的浮点计算次数，主要由CPU的主频决定。理论浮点峰值＝CPU主频×CPU核数×CPU每周期执行浮点运算的次数。本文将为您介绍如何利用HPL测试实测浮点峰值。

准备工作

创建一个E-HPC集群。具体操作，请参见创建集群。

本文使用的集群配置示例如下：

配置项	配置
系列	标准版
部署模式	公共云集群
集群类型	OpenPBS
节点配置	包含1个管理节点和1个计算节点，规格如下：管理节点：采用ecs.c7.large实例规格，该规格配置为2 vCPU，4 GiB内存。计算节点：采用ecs.ebmc5s.24xlarge实例规格，该规格配置为96 vCPU、192 GiB内存。
集群镜像	CentOS 7.6公共镜像

创建一个集群用户。具体操作，请参见用户管理。
集群用户用于登录集群，进行编译软件、提交作业等操作。本文创建的用户示例如下：
- 用户名：hpltest
- 用户组：sudo权限组
安装软件。具体操作，请参见安装和卸载集群软件。
需安装的软件如下：
- linpack，版本为2018。
- intel-mpi，版本为2018。

步骤一：连接集群

远程连接E-HPC集群。具体操作，请参见连接集群。

步骤二：提交作业

执行以下命令，创建算例文件，算例文件命名为HPL.dat。
```
vim HPL.dat
```
算例文件HPL.dat包含了HPL运行的参数。如下示例是在单台ecs.ebmc5s.24xlarge实例上运行HPL的推荐配置。
```
HPLinpack benchmark input file
Innovative Computing Laboratory, University of Tennessee
HPL.out      output file name (if any)
6            device out (6=stdout,7=stderr,file)
1            # of problems sizes (N)
143600       Ns  
1            # of NBs
384          NBs 
1            PMAP process mapping (0=Row-,1=Column-major)
1            # of process grids (P x Q)
1            Ps  
1            Qs  
16.0         threshold
1            # of panel fact
2            PFACTs (0=left, 1=Crout, 2=Right)
1            # of recursive stopping criterium
2            NBMINs (>= 1)
1            # of panels in recursion
2            NDIVs
1            # of recursive panel fact.
1            RFACTs (0=left, 1=Crout, 2=Right)
1            # of broadcast
0            BCASTs (0=1rg,1=1rM,2=2rg,3=2rM,4=Lng,5=LnM)
1            # of lookahead depth
0            DEPTHs (>=0)
0            SWAP (0=bin-exch,1=long,2=mix)
1            swapping threshold
1            L1 in (0=transposed,1=no-transposed) form
1            U  in (0=transposed,1=no-transposed) form
0            Equilibration (0=no,1=yes)
8            memory alignment in double (> 0)
```
您可以根据节点的硬件配置，调整HPL.dat文件中相关参数，参数的说明如下所示：
- 第5~6行内容。
```
1            # of problems sizes (N)
143600       Ns 
```
  N表示求解的矩阵数量与规模。矩阵规模N越大，有效计算所占的比例也越大，系统浮点处理性能也就越高。但矩阵规模越大会导致内存消耗量越多，如果系统实际内存空间不足，使用缓存、性能会大幅度降低。矩阵占用系统总内存的80%左右为最佳，即N×N×8=系统总内存×80%（其中总内存的单位为字节）。
- 第7~8行内容。
```
1            # of NBs
384          NBs 
```
  NB表示求解矩阵过程中矩阵分块的大小。分块大小对性能有很大的影响，NB的选择和软硬件许多因素密切相关。NB值的选择主要是通过实际测试得出最优值，一般遵循以下规律：
  - NB不能太大或太小，一般小于384。
  - NB×8一定是缓存行的倍数。
  - NB的大小和通信方式、矩阵规模、网络、处理器速度等有关系。
  一般通过单节点或单CPU测试可以得到几个较好的NB值，但当系统规模增加、问题规模变大，有些NB取值所得性能会下降。因此建议在小规模测试时选择3个性能不错的NB值，再通过大规模测试检验这些选择。
- 第10~12行内容。
```
1            # of process grids (P x Q)
1            Ps  
1            Qs 
```
  P表示水平方向处理器个数，Q表示垂直方向处理器个数。P×Q表示二维处理器网格。P×Q=进程数。对于处理器为Intel^® Xeon^®的ECS实例，关闭超线程可以提高HPL性能。P和Q的取值一般遵循以下规律：
  - P≤Q，一般情况下P的取值小于Q，因为列向通信量（通信次数和通信数据量）要远大于横向通信。
  - P建议选择2的幂。HPL中水平方向通信采用二元交换法（Binary Exchange），当水平方向处理器个数P为2的幂时性能最优。

执行以下命令，创建并打开作业脚本文件，脚本文件命名为hpl.pbs。

vim hpl.pbs

脚本内容示例如下：

说明

本示例测试单节点的实测浮点峰值。如果您想测试多个节点的实测浮点峰值，可以修改脚本内容。

#!/bin/sh
#PBS -j oe
export MODULEPATH=/opt/ehpcmodulefiles/
module load linpack/2018
module load intel-mpi/2018
echo "run at the beginning"
mpirun -n 1 -host compute000 /opt/linpack/2018/xhpl_intel64_static > hpl-output   #测试单节点的浮点性能，compute000为运行作业的节点名称，请自行替换
#mpirun -n <N> -ppn 1 -host <node0>,...,<nodeN> /opt/linpack/2018/xhpl_intel64_static > hpl-output   #测试多节点的浮点性能，<>里的内容请根据实际替换

执行以下命令，提交作业。
```
qsub hpl.pbs
```
返回示例如下，表示生成的作业ID为0.manager。
```
0.manager
```

步骤三：查看作业结果

查看作业运行情况。

qstat -x 0.manager

预期返回如下，当返回信息中S为R时，表示作业正在运行中；当返回信息中S为F时，表示作业已经运行结束。

Job id            Name             User              Time Use S Queue
----------------  ---------------- ----------------  -------- - -----
0.manager         hpl.pbs          hpltest           11:01:49 F workq

查看作业结果。
```
cat /home/hpltest/hpl-output
```
本次测试结果如下：