网络性能测试最佳实践

准备环境

测试网络PPS（小于600万）

1. 分别远程连接测试机和辅助测试机。
   关于连接方法的介绍，请参见实例连接概述。
2. 分别在测试机和辅助测试机上执行以下命令，下载Netperf。

   wget https://benchmark-packages.oss-cn-qingdao.aliyuncs.com/netperf-2.7.0.tar.gz

3. 分别在测试机和辅助测试机上执行以下命令，安装Netperf和sar监控工具。
   1. 执行以下命令，解压Netperf包。

      yum install -y gcc autoconf automake libtool sysstat
      tar -zxvf netperf-2.7.0.tar.gz

   2. 执行以下命令，查询gcc版本号。

      gcc -v 2>&1

   3. 可选：如果测试机和辅助测试机的gcc版本高于10，需先执行以下命令，打开并手动删除nettest_omni.c文件中的声明变量内容。

      cd netperf
      vim src/nettest_omni.c

      手动删除nettest_omni.c文件中如下声明变量内容。

      /* different options for the sockets        */
      
      int
        loc_nodelay,    /* don't/do use NODELAY  locally    */
        rem_nodelay,    /* don't/do use NODELAY remotely  */
        loc_sndavoid,    /* avoid send copies locally    */
        loc_rcvavoid,    /* avoid recv copies locally    */
        rem_sndavoid,    /* avoid send copies remotely    */
        rem_rcvavoid;   /* avoid recv_copies remotely    */

      修改完成后按Esc键，并输入:wq后按下回车键，保存并退出。
   4. 执行以下命令，安装Netperf和sar监控工具。

      cd netperf
      ./configure
      make && make install

4. 在测试机上执行以下命令，启动64个netserver服务。

   #!/bin/bash
   for j in `seq 64`; do
       netserver -p $[16000+j] > server_$[16000+j].netperf > /dev/null 2>&1  &
   done

5. 在测试机上执行以下命令，查询测试机的私网IP地址。

   ifconfig || ip addr

   
6. 在辅助测试机上执行以下命令，向测试机输入流量。

   #!/bin/bash
   server_ip=<测试机私网IP地址>
   for j in `seq 64`; do
       port=$[16000+j]
       netperf -H ${server_ip} -l ${run_time:-300} -t UDP_STREAM  -p $port  -- -m 1 -D > /dev/null 2>&1 &
   done

   <测试机私网IP地址>需替换为上一步查询的实际测试机的私网IP地址，示例如下图所示。
7. 在测试机上执行以下命令，测试网络流量。

   sar -n DEV 1

   在测试结果中查看rxpck/s列的数据值，rxpck/s表示该测试机每秒钟接收的数据包总数。如下图所示，示例中测试机每秒钟接收到的数据包数约为90万。

测试网络PPS（大于600万小于2000万）

1. 分别远程连接测试机和辅助测试机。
   关于连接方法的介绍，请参见实例连接概述。
2. 分别在3台辅助测试机和1台测试机上执行以下命令，安装sockperf。

   yum install -y sockperf

   如果yum不能安装，则执行以下命令，使用编译安装。

   yum install -y autoconf automake libtool g++ gcc-c++
   cd /opt
   wget https://github.com/Mellanox/sockperf/archive/3.6.tar.gz
   tar -zxf 3.6.tar.gz
   cd sockperf-3.6/
   ./autogen.sh
   ./configure
   make -j `cat /proc/cpuinfo| grep process | wc -l`
   make install

3. 分别在3台辅助测试机上执行以下命令，向测试机输入流量。

   server_ip="<测试机私网IP地址>"
   threads=64
   msg_size=14
   run_time=60
   
   basePort=6666
   for((i=0;i<$threads;++i));do
       nohup sockperf tp -i $server_ip --client_port $[${basePort}+${i}] --pps max -m ${msg_size} -t ${run_time} --port $[${basePort}+${i}] 2>&1 &
   done

   其中<测试机私网IP地址>是实际测试机的私网IP地址，run_time是输入流量的时间，请您根据实际情况修改。
4. 分别在3台辅助测试机和1台测试机上执行以下命令，测试网络流量。

   sar -n DEV 1

   在测试机上查看rxpck/s列的数据值，rxpck/s表示该测试机每秒钟接收到的数据包。如下图所示，示例中测试机每秒钟接收到的数据包数约为1200万。

测试网络PPS（大于2000万）

1. 分别远程连接测试机和辅助测试机。
   关于连接方法的介绍，请参见实例连接概述。
2. 分别在3台辅助测试机和1台测试机上执行以下命令，安装sockperf。

   yum install -y sockperf

   如果yum不能安装，则执行以下命令，使用编译安装。

   yum install -y autoconf automake libtool g++ gcc-c++
   cd /opt
   wget https://github.com/Mellanox/sockperf/archive/3.6.tar.gz
   tar -zxf 3.6.tar.gz
   cd sockperf-3.6/
   ./autogen.sh
   ./configure
   make -j `cat /proc/cpuinfo| grep process | wc -l`
   make install

3. 在测试机上执行以下命令，绑定中断。

   a=$(cat /proc/interrupts | grep virtio2-input | awk -F ':' '{print $1}')
   cpu=0
   for irq in $a; do
       echo $cpu >/proc/irq/$irq/smp_affinity_list
       let cpu+=2
   done

4. 分别在3台辅助测试机上执行以下命令，向测试机输入流量。

   server_ip="<测试机私网IP地址>"
   threads=64
   msg_size=14
   run_time=60
   
   basePort=6666
   for((i=0;i<$threads;++i));do
       nohup sockperf tp -i $server_ip --client_port $[${basePort}+${i}] --pps max -m ${msg_size} -t ${run_time} --port $[${basePort}+${i}] 2>&1 &
   done

   其中<测试机私网IP地址>是实际测试机的私网IP地址，run_time是输入流量的时间，请您根据实际情况修改。
5. 分别在3台辅助测试机和1台测试机上执行以下命令，测试网络流量。

   sar -n DEV 1

   在测试机上查看rxpck/s列的数据值，rxpck/s表示该测试机每秒钟接收到的数据包。如下图所示，示例中测试机每秒钟接收到的数据包数约为2000万。

测试网络带宽

1. 分别远程连接测试机和辅助测试机。
   关于连接方法的介绍，请参见实例连接概述。
2. 分别在测试机和辅助测试机上执行以下命令，下载Netperf。

   wget https://benchmark-packages.oss-cn-qingdao.aliyuncs.com/netperf-2.7.0.tar.gz

3. 分别在测试机和辅助测试机上执行以下命令，安装Netperf和sar监控工具。

   yum install -y gcc autoconf automake libtool sysstat
   tar -zxvf netperf-2.7.0.tar.gz
   cd netperf
   ./configure
   make && make install

4. 在测试机上执行以下命令，启动64个netserver服务。

   #!/bin/bash
   for j in `seq 64`; do
       netserver -p $[16000+j] > server_$[16000+j].netperf > /dev/null 2>&1  &
   done

5. 在测试机上执行以下命令，查询测试机的私网IP地址。

   ifconfig || ip addr

   
6. 在辅助测试机上执行以下命令，向测试机输入流量。

   #!/bin/bash
   server_ip=<测试机私网IP地址>
   for j in `seq 64`; do
       port=$[16000+j]
       netperf -H ${server_ip} -l ${run_time:-300} -t UDP_STREAM  -p $port  -- -m 1 -D > /dev/null 2>&1 &
   done

   <测试机私网IP地址>需替换为上一步查询的实际测试机的私网IP地址，示例如下图所示。
7. 在测试机上执行以下命令，测试网络带宽。

   sar -n DEV 1

   在测试结果中查看rxkB/s列的数据值，rxkB/s表示该测试机每秒钟接收的字节数。所以转换为带宽（kbps）=字节数（rxkB/s）*8，示例如下图所示。

测试网络时延

1. 分别远程连接测试机和辅助测试机。
   关于连接方法的介绍，请参见实例连接概述。
2. 分别在测试机和辅助测试机上执行以下命令，安装sockperf。

   yum install -y sockperf

   如果yum不能安装，则执行以下命令，使用编译安装。

   cd /opt
   wget https://github.com/Mellanox/sockperf/archive/3.6.tar.gz
   tar -zxf 3.6.tar.gz
   cd sockperf-3.6/
   ./autogen.sh
   ./configure
   make -j `cat /proc/cpuinfo| grep process | wc -l`
   make install

3. 在测试机上执行以下命令，启动服务。

   sockperf sr --daemonize > /dev/null 2>&1

4. 在测试机上执行以下命令，查询测试机的私网IP地址。

   ifconfig || ip addr

   
5. 在辅助测试机上执行以下命令，向测试机输入流量。

   sockperf under-load -i <测试机私网IP地址>  --mps=100000 -t 300 -m 14 --reply-every=50 --full-log=sockperf.out

   <测试机私网IP地址>需替换为上一步查询的实际测试机的私网IP地址。

   查看结果数据，示例如下图所示。

   • 以avg-latency开头的结果数据表示平均时延，单位为us。
   • 以percentile 99.000开头的结果数据表示99分位时延，单位为us。