备案控制台
文档
产品文档
输入文档关键字查找
首页 云服务器 ECS 实践教程 网络最佳实践 通过eRDMA提升网络性能 基于eRDMA部署高网络性能的Kafka集群

基于eRDMA部署高网络性能的Kafka集群

更新时间：
一键部署
产品详情
相关技术圈
我的收藏

基于支持eRDMA能力的ECS实例部署Kafka集群，可以充分利用eRDMA提供的低延迟、高吞吐以及低CPU占用等特性，以优化Kafka集群内部节点间的数据传输效率，适用于对消息吞吐量和时延要求较高的应用场景。本文介绍如何基于支持eRDMA能力的ECS实例部署Kafka集群，并测试eRDMA对Kafka性能的提升效果。

说明

  • Kafka是一个分布式流处理平台，用于高效地处理和存储大量数据流，支持实时消息发布和订阅，广泛应用于日志聚合、事件源、实时分析等场景。更多信息，请参见Kafka官方文档。

  • eRDMA（Elastic Remote Direct Memory Access，弹性RDMA），是阿里云提供的低延迟、大吞吐、高弹性的高性能RDMA网络服务。更多信息，请参见eRDMA概述。

步骤一：准备ECS实例

部署集群需要准备多台ECS实例用于搭建Broker、Zookeeper服务、部署压测环境。

  • Broker：集群中的核心数据节点，负责实际的消息存储、传输和管理。

  • ZooKeeper：在Kafka集群中提供分布式服务协调与管理功能。

  • 压测实例：用于验证已部署的Kafka集群的性能。

本文准备5台ECS实例，1台作为Zookeeper实例、3台作为Broker实例、2台作为压测实例，实例配置要求如下：

重要

选用的实例规格需支持eRDMA能力。支持eRDMA能力的实例规格，请参见使用限制。

用途

所需实例

云盘要求

网络要求

镜像要求

作为Broker实例

3台，本文示例规格ecs.g8a.2xlarge

选择ESSD PL3云盘，容量按需选择

Alibaba Cloud Linux 3.2104 LTS 64位

作为Zookeeper实例

1台，本文示例规格ecs.g8a.xlarge

无限制

作为压测实例

1台，本文示例规格ecs.g8a.16xlarge

无限制

步骤二：安装工具和Kafka

您可以依次登录步骤一准备的5台ECS实例，执行相关命令安装SMC-R、Java工具、Kafka软件。

说明

在使用eRDMA功能时，需要部署SMC-R。SMC-R工作于内核空间，eRDMA资源的使用、管理与维护均由SMC-R协议栈完成。更多信息，请参见共享内存通信（SMC）使用说明。

  1. 依次登录所有ECS实例。

    具体操作，请参见通过密码或密钥认证登录Linux实例。

  2. （条件必选）确保所有实例内核版本（通过uname -r查询）大于等于5.10.134-16.3。如果实例内核版本小于5.10.134-16.3，执行以下命令将内核升级至最新版本。

    sudo yum update kernel
sudo reboot

  3. 执行以下命令，在所有实例上安装SMC工具集smc-tools。

    sudo yum install smc-tools -y

  4. 执行以下命令，在所有实例上查看eRDMA设备，确保能查到eRDMA设备。

    smcr dev

    返回结果示例：

    Net-Dev IB-Dev IB-P IB-State Type Crit #Links PNET-ID 
eth0 erdma_0 1 ACTIVE 0x107f No 0

  5. 执行以下命令，在所有实例上禁用IPv6。

    说明

    阿里云eRDMA设备与SMC目前均不支持使用IPv6地址，禁用IPv6可以确保流量正确地通过IPv4走RDMA通道。

    sudo sysctl net.ipv6.conf.all.disable_ipv6=1

  6. 执行以下命令，安装Java、Git工具。

    sudo yum install java-11-openjdk-1:11.0.21.0.9-2.0.3.al8 java-11-openjdk-devel-1:11.0.21.0.9-2.0.3.al8 git -y

  7. 执行以下命令，下载Kafka并解压。

    wget https://archive.apache.org/dist/kafka/3.5.0/kafka_2.13-3.5.0.tgz
tar -xf kafka_2.13-3.5.0.tgz

步骤三：启动Kafka的Zookeeper和Broker

  1. 登录所有实例。

  2. 修改/etc/hosts文件，分别在每个实例的/etc/hosts文件中添加所有实例的私网IP和主机名的对应关系。

    image

  3. 在Zookeeper实例上执行以下命令，启动Zookeeper。

    bash $HOME/kafka_2.13-3.5.0/bin/zookeeper-server-start.sh -daemon $HOME/kafka_2.13-3.5.0/config/zookeeper.properties

  4. 分别在3台Broker实例上启动Broker。

    说明

    如果是在不使用eRDMA功能的场景下测试，需要去掉命令中的smc_run。

    • 在第1台Broker实例上指定Broker ID为broker 0并启动Broker，<zookeeper ip>需替换为Zookeeper实例的私网IP地址。

      KAFKA_HEAP_OPTS="-Xmx4G -Xms4G" smc_run bash $HOME/kafka_2.13-3.5.0/bin/kafka-server-start.sh -daemon $HOME/kafka_2.13-3.5.0/config/server.properties --override broker.id=0 --override log.dirs=$HOME/kafka-logs --override zookeeper.connect=<zookeeper ip>:2181

    • 在第2台Broker实例上指定Broker ID为broker 1并启动Broker，<zookeeper ip>需替换为Zookeeper实例的私网IP地址。

      KAFKA_HEAP_OPTS="-Xmx4G -Xms4G" smc_run bash $HOME/kafka_2.13-3.5.0/bin/kafka-server-start.sh -daemon $HOME/kafka_2.13-3.5.0/config/server.properties --override broker.id=1 --override log.dirs=$HOME/kafka-logs --override zookeeper.connect=<zookeeper ip>:2181

    • 在第3台Broker实例上指定Broker ID为broker 2并启动Broker，<zookeeper ip>需替换为Zookeeper实例的私网IP地址。

      KAFKA_HEAP_OPTS="-Xmx4G -Xms4G" smc_run bash $HOME/kafka_2.13-3.5.0/bin/kafka-server-start.sh -daemon $HOME/kafka_2.13-3.5.0/config/server.properties --override broker.id=2 --override log.dirs=$HOME/kafka-logs --override zookeeper.connect=<zookeeper ip>:2181

步骤四：性能测试

下载Benchmark工具并模拟一个最高可用网络带宽的环境，然后分别在启用eRDMA功能和不启用eRDMA功能的场景中测试Kafka性能，根据测试结果比较eRDMA对Kafka集群带来的性能提升。

  1. 登录压测实例，下载并编译Open Messaging Benchmark。

    1. 下载并安装Open Messaging Benchmark编译工具Maven。

      wget https://dlcdn.apache.org/maven/maven-3/3.8.8/binaries/apache-maven-3.8.8-bin.tar.gz
tar -xf apache-maven-3.8.8-bin.tar.gz
export PATH=$PATH:$HOME/apache-maven-3.8.8/bin/

    2. 配置Maven源加速。

      vi $HOME/apache-maven-3.8.8/conf/settings.xml

      在settings.xml mirrors标签内添加下列内容后保存文件并退出。

      <mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>central</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

    3. 下载Open Messaging Benchmark源码并编译。

      git clone https://github.com/openmessaging/benchmark.git
cd benchmark && mvn clean verify -DskipTests

  2. 配置kafka-throughput.yaml中的Broker地址。

    vi $HOME/benchmark/driver-kafka/kafka-throughput.yaml

    如下回显信息，将文件中的bootstrap.servers=localhost:9092内容替换为bootstrap.servers=<broker0的私网IP地址>:9092,<broker1的私网IP地址>:9092,<broker2的私网IP地址>:9092。

    commonConfig: |
  bootstrap.servers=<172.17.XX.XX>:9092,<172.17.XX.XX>:9092,<172.17.XX.XX>:9092
  default.api.timeout.ms=1200000
  request.timeout.ms=1200000

  3. 配置Kafka消息发送速率，模拟一个最高可用网络带宽的环境，以便测试Kafka集群的性能。

    vi $HOME/benchmark/workloads/1-topic-100-partitions-1kb-4p-4c-200k.yaml

    需要修改文件中的producerRate: <消息发送速率>参数值，消息发送速率 = Broker可用带宽/单个消息的大小。

    本文的Broker实例规格为ecs.g8a.2xlarge，该规格的最高网络带宽为4 Gbit/s，3台Broker实例的总带宽为12 Gbit/s。由于Kafka采用三副本机制，实际可用带宽约为总带宽的三分之一，即Broker可用带宽= 12 Gbit/s / 3 = 4 Gbit/s（等于512 MB/s），由于本文是在workloads目录下进行测试，该目录下单个消息的大小为1 KB，则消息发送速率=512 MB/s / 1 KB = 524,288，因此您需要修改文件中的producerRate: <消息发送速率>为producerRate: 524288。在实际测试过程中，请根据业务需求进行调整。

  4. 在以下两种场景中分别测试Kafka集群的性能。

    使用eRDMA功能测试

    smc_run $HOME/benchmark/bin/benchmark --drivers $HOME/benchmark/driver-kafka/kafka-throughput.yaml $HOME/benchmark/workloads/1-topic-100-partitions-1kb-4p-4c-2000k.yaml

    在Kafka的测试过程中，您可以同时进行以下操作：

    • 另起一个压测实例窗口执行smcss -a命令，查看消息传输过程中链接使用的是SMC-R。

    • 在3台Broker实例上执行sar命令，查看CPU占用情况。例如sar 1 20命令表示每1秒采样一次，采样20次后退出，然后将3台Broker实例的CPU占用情况相加，可以得到总的CPU占用情况。

    不使用eRDMA功能测试

    $HOME/benchmark/bin/benchmark --drivers $HOME/benchmark/driver-kafka/kafka-throughput.yaml $HOME/benchmark/workloads/1-topic-100-partitions-1kb-4p-4c-2000k.yaml
    重要

    在使用eRDMA功能测试后，为避免测试留存信息对不使用eRDMA功能测试产生影响，您可以按照以下方法清空Broker和Zookeeper的记录，并重启Broker和Zookeeper。

    清空Broker和Zookeeper记录、重启Broker和Zookeeper

    • 在Zookeeper实例上停止Zookeeper并清空Zookeeper记录

      bash $HOME/kafka_2.13-3.5.0/bin/zookeeper-server-stop.sh
rm -rf /tmp/zookeeper/

    • 在Zookeeper实例上重启Zookeeper

      bash $HOME/kafka_2.13-3.5.0/bin/zookeeper-server-start.sh -daemon $HOME/kafka_2.13-3.5.0/config/zookeeper.properties

    • 在3台Broker实例上分别停掉Broker并清空Broker记录

      bash $HOME/kafka_2.13-3.5.0/bin/kafka-server-stop.sh
rm -rf $HOME/kafka-logs/

    • 分别在3台Broker实例上分别重启Broker

      KAFKA_HEAP_OPTS="-Xmx4G -Xms4G" smc_run bash $HOME/kafka_2.13-3.5.0/bin/kafka-server-start.sh -daemon $HOME/kafka_2.13-3.5.0/config/server.properties --override broker.id=0 --override log.dirs=$HOME/kafka-logs --override zookeeper.connect=<zookeeper ip>:2181
KAFKA_HEAP_OPTS="-Xmx4G -Xms4G" smc_run bash $HOME/kafka_2.13-3.5.0/bin/kafka-server-start.sh -daemon $HOME/kafka_2.13-3.5.0/config/server.properties --override broker.id=1 --override log.dirs=$HOME/kafka-logs --override zookeeper.connect=<zookeeper ip>:2181
KAFKA_HEAP_OPTS="-Xmx4G -Xms4G" smc_run bash $HOME/kafka_2.13-3.5.0/bin/kafka-server-start.sh -daemon $HOME/kafka_2.13-3.5.0/config/server.properties --override broker.id=2 --override log.dirs=$HOME/kafka-logs --override zookeeper.connect=<zookeeper ip>:2181

      • <zookeeper ip>需替换为Zookeeper实例的私网IP地址。

      • 如果是在不使用eRDMA功能的场景下测试，需去掉命令中的smc_run。

  5. 获取两种测试结果中的时延信息，比较eRDMA对Kafka集群带来的性能提升。

    找到最后一处Aggregated Pub Latency (ms)输出，avg为平均时延，99%为P99时延，999%为P999时延。

文档推荐
  • 本页导读 （1）
文档反馈