ECS实例如何使用Pktgen测试网络性能

免责声明： 本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响，不做任何暗示或其他形式的承诺。

概述

本文主要介绍ECS实例如何使用Pktgen测试网络性能。

详细信息

阿里云提醒您：

• 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。
• 如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。
• 如果您在阿里云平台授权或者提交过登录账号、密码等安全信息，建议您及时修改。

如何使用Pktgen测试网络性能，请查看以下示例。

步骤一：准备环境

请准备两台服务器，分别为接收端和发送端，然后准备2个网卡，一个用于登录，一个用于测试，确认用于测试的两个网卡之间可以互通。然后执行ifconfig命令，记录用于测试的两端网卡的IP地址和MAC地址，后面配置发送流量时需要使用。

步骤二：安装软件

说明：CentOS 6与CentOS 8操作系统版本结束了生命周期（EOL），按照社区规则，CentOS 6/8的源地址内容已移除。当您在CentOS 6/8系统内继续使用默认配置的源地址时会发生报错。建议您先切换CentOS 6/8的源地址，然后再进行操作。具体操作，请参见CentOS 6 EOL如何切换源？和CentOS 8 EOL如何切换源？。

以下操作发送端和接收端都需要执行。

1. 远程登录Linux系统的ECS实例，关于如何登录Linux系统请参见使用用户名密码验证连接Linux实例。
2. 执行以下命令，创建pktgen目录。

   mkdir pktgen

3. 执行以下命令，进入pktgen目录。

   cd pktgen

4. 执行以下命令，下载pktgen、lua、dpdk安装包。

   wget https://git.dpdk.org/apps/pktgen-dpdk/snapshot/pktgen-dpdk-pktgen-3.6.5.zip https://www.lua.org/ftp/lua-5.4.3.tar.gz https://fast.dpdk.org/rel/dpdk-18.11.11.tar.xz

   说明：pktgen、lua、dpdk版本必须对应，否则可能出现各种编译问题，本文以上述版本为例，也可以使用其他版本的安装包，需要确保三者版本兼容。

5. 依次执行以下命令，解压pktgen、lua、dpdk安装包。

   tar -Jxvf dpdk-18.11.11.tar.xz
   
   tar -zxvf lua-5.4.3.tar.gz
   
   unzip pktgen-dpdk-pktgen-3.6.5.zip

6.  在编译的过程中若有其他依赖缺失，请执行以下命令，安装以下对应的安装包。
   • CentOS 7
     

     yum -y install kernel-devel.x86_64
      yum -y install numactl-devel.x86_64
      yum -y install elfutils-libelf-devel
      yum -y install libpcap-devel

   • CentOS 8

     说明：在CentOS 8系统中，默认没有安装libpcap-devel，需自行安装。

     dnf config-manager --add-repo /etc/yum.repos.d/CentOS-PowerTools.repo 
     dnf config-manager --set-enabled PowerTools 
     dnf install epel-release 
     dnf install libpcap-devel

7. 依次执行以下命令，编译安装pktgen。
   

   cd dpdk-stable-18.11.11
    make config T=x86_64-native-linuxapp-gcc 
   make all -j32

8. 依次执行以下命令，编译安装lua。
   

   cd lua-5.4.3
    make
    make install

9. 依次执行以下命令，编译安装dpdk。
   

   cd pktgen-dpdk-pktgen-3.6.5/
     export RTE_SDK=/root/pktgen/dpdk-stable-18.11.11/
    export RTE_TARGET=build 
   make -j32

步骤三：绑定驱动到vfio

以下操作发送端和接收端都需要执行。

1. 执行以下命令，查看/proc/cmdline文件，确保OS的GRUB为intel_iommu=on。
   

   cat /proc/cmdline

   系统显示类似如下，若不存在该参数，请执行以下步骤修改。

   BOOT_IMAGE=/boot/vmlinuz-3.10.0-XXXX.19.1.el7.x86_64 root=UUID=9f2d3e15-XXXX-XXXX-8385-0165b4b67864 ro crashkernel=auto spectre_v2=retpoline rhgb quiet net.ifnames=0 console=tty0 console=ttyS0,115200n8 noibrs intel_iommu=on

   1. 执行以下命令，编辑/etc/default/grub文件。

      vim /etc/default/grub

   2. 按i键切换至编辑模式，在GRUB_CMDLINE_LINUX中添加intel_iommu=on，修改之后的内容如下所示。
      
   3. 修改完成后，按下Esc键后，输入:wq并回车以保存并关闭配置文件。
   4. 执行以下命令，更新配置。

      grub2-mkconfig -o /boot/grub2/grub.cfg

   5. 执行以下命令，重启服务器。

      reboot

2. 依次执行以下命令，安装vfio和vfio-pci驱动。

   modprobe vfio
   
   modprobe vfio-pci

3. 执行以下命令，配置noniommu_mode。

   echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode

4. 执行以下命令，查看并记录网卡的bus-info值。

   ethtool -i eth1

   说明：本文以eth1网卡为例，现场请以实际环境为准。

   系统显示类似如下。

   driver: virtio_net
   
   version: 1.0.0
   
   firmware-version:
   
   expansion-rom-version:
   
   bus-info: 0000:00:08.0
   
   supports-statistics: no
   
   supports-test: no
   
   supports-eeprom-access: no
   
   supports-register-dump: no
   
   supports-priv-flags: no

5. 执行以下命令，解绑eth1网卡的virtio驱动。

   echo "[$Bus-info]" > /sys/bus/pci/drivers/virtio-pci/unbind

   说明：[$Bus-info]为步骤4获取的网卡的bus-info值。

6. 执行以下命令，将bus-info绑定到vfio-pci驱动。

   /root/pktgen/dpdk-stable-18.11.11/usertools/dpdk-devbind.py -b vfio-pci [$Bus-info]

步骤四：配置大页

以下操作发送端和接收端都需要执行。请确认您的节点数量，然后执行以下对应的命令。

• 双节点

  echo 8000 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages
  echo 8000 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages

• 单节点

  echo 8000 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

步骤五：启动pktgen

以下操作发送端和接收端都需要执行。

适用于

• 云服务器ECS