ECS实例如何使用Pktgen测试网络性能

步骤一：准备环境

请准备两台服务器，分别为接收端和发送端，然后为每台服务器增加1张网卡，一个用于登录，一个用于测试，确认用于测试的两个网卡之间可以互通。然后执行ifconfig命令，记录用于测试的两端网卡的IP地址和MAC地址，后面配置发送流量时需要使用。

步骤二：安装软件

以下操作发送端和接收端都需要执行。

1. 远程登录Linux系统的ECS实例，关于如何登录Linux系统请参见通过密码或密钥认证登录Linux实例。

2. 执行以下命令，创建pktgen目录。

   cd /root/
   mkdir pktgen

3. 执行以下命令，进入pktgen目录。

   cd pktgen

4. 执行以下命令，下载pktgen、lua、dpdk安装包。

   wget https://git.dpdk.org/apps/pktgen-dpdk/snapshot/pktgen-dpdk-pktgen-3.6.5.zip https://www.lua.org/ftp/lua-5.4.3.tar.gz https://fast.dpdk.org/rel/dpdk-18.11.11.tar.xz

   说明

   说明：pktgen、lua、dpdk版本必须对应，否则可能出现各种编译问题，本文以上述版本为例，也可以使用其他版本的安装包，需要确保三者版本兼容。

5. 依次执行以下命令，解压pktgen、lua、dpdk安装包。

   tar -Jxvf dpdk-18.11.11.tar.xz
   
   tar -zxvf lua-5.4.3.tar.gz
   
   unzip pktgen-dpdk-pktgen-3.6.5.zip

6. 在编译的过程中若有其他依赖缺失，请执行以下命令，安装以下对应的安装包。

   • CentOS 7

     yum -y install kernel-devel.x86_64
      yum -y install numactl-devel.x86_64
      yum -y install elfutils-libelf-devel
      yum -y install libpcap-devel

   • CentOS 8

     说明

     在CentOS 8系统中，默认没有安装libpcap-devel，需自行安装。

     在执行如下命令之前，请先按照CentOS 8 EOL如何切换源？切换镜像源，然后从 Centos-vault-8.5.2111.repo 镜像仓库文件中复制 [PowerTools] 块内容，粘贴到创建的 CentOS-PowerTools.repo 镜像仓库文件中。

     dnf config-manager --add-repo /etc/yum.repos.d/CentOS-PowerTools.repo 
     dnf config-manager --set-enabled PowerTools
     dnf -y upgrade libmodulemd
     dnf -y install kernel-devel.x86_64
     dnf -y install elfutils-libelf-devel
     dnf -y install numactl-devel.x86_64
     dnf -y install libpcap-devel

7. 依次执行以下命令，编译安装pktgen。

   cd dpdk-stable-18.11.11
   make config T=x86_64-native-linuxapp-gcc 
   make all -j32
   cd ..

8. 依次执行以下命令，编译安装lua。

   cd lua-5.4.3
   make
   make install
   cd ..

9. 依次执行以下命令，编译安装dpdk。

   cd pktgen-dpdk-pktgen-3.6.5/
    export RTE_SDK=/root/pktgen/dpdk-stable-18.11.11/
    export RTE_TARGET=build 
   make -j32

步骤三：绑定驱动到vfio

以下操作发送端和接收端都需要执行。

1. 执行以下命令，查看/proc/cmdline文件，确保OS的GRUB为intel_iommu=on。

   cat /proc/cmdline

   系统显示类似如下，若不存在该参数，请执行以下步骤修改。

   BOOT_IMAGE=/boot/vmlinuz-3.10.0-XXXX.19.1.el7.x86_64 root=UUID=9f2d3e15-XXXX-XXXX-8385-0165b4b67864 ro crashkernel=auto spectre_v2=retpoline rhgb quiet net.ifnames=0 console=tty0 console=ttyS0,115200n8 noibrs intel_iommu=on

   1. 执行以下命令，编辑/etc/default/grub文件。

      vim /etc/default/grub

   2. 按i键切换至编辑模式，在GRUB_CMDLINE_LINUX中添加intel_iommu=on，修改之后的内容如下所示。

   3. 修改完成后，按下Esc键后，输入:wq并回车以保存并关闭配置文件。

   4. 执行以下命令，更新配置。

      grub2-mkconfig -o /boot/grub2/grub.cfg

   5. 执行以下命令，重启服务器。

      reboot

2. 依次执行以下命令，安装vfio和vfio-pci驱动。

   modprobe vfio
   
   modprobe vfio-pci

3. 执行以下命令，配置noniommu_mode。

   echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode

4. 执行以下命令，查看并记录网卡的bus-info值。

   ethtool -i eth1

   说明

   说明：本文以eth1网卡为例，现场请以实际环境为准。

   系统显示类似如下。

   driver: virtio_net
   
   version: 1.0.0
   
   firmware-version:
   
   expansion-rom-version:
   
   bus-info: 0000:00:08.0
   
   supports-statistics: no
   
   supports-test: no
   
   supports-eeprom-access: no
   
   supports-register-dump: no
   
   supports-priv-flags: no

5. 执行以下命令，解绑eth1网卡的virtio驱动。

   重要

   本文以eth1网卡解绑virtio驱动为例，解绑会导致网络中断，建议您在业务地低峰期操作。

   echo "[$Bus-info]" > /sys/bus/pci/drivers/virtio-pci/unbind

   说明

   说明：[$Bus-info]为步骤4获取的网卡的bus-info值。

6. 执行以下命令，将bus-info绑定到vfio-pci驱动。

   /root/pktgen/dpdk-stable-18.11.11/usertools/dpdk-devbind.py -b vfio-pci [$Bus-info]

   说明

   此处以Centos 8.3（Python 3.6.8 ）环境执行python脚本为例，执行以上命令，请修改为：python3 /root/pktgen/dpdk-stable-18.11.11/usertools/dpdk-devbind.py -b vfio-pci [$Bus-info]

步骤四：配置大页

以下操作发送端和接收端都需要执行。请确认您的节点数量，然后执行以下对应的命令。

• 双节点

  echo 8000 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages
  echo 8000 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

• 单节点

  echo 8000 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

步骤五：启动pktgen

以下操作发送端和接收端都需要执行。