Pod在灵骏节点使用RDMA网络_容器服务 Kubernetes 版 ACK(ACK)-阿里云帮助中心

本文档介绍如何在ACK托管集群Pro版的灵骏节点中配置和使用RDMA（RemoteDirect Memory Access）技术，实现高性能容器网络通信。RDMA技术可显著降低网络延迟并提升吞吐量，适用于高性能计算（HPC）、AI训练、分布式存储等对网络性能要求严苛的场景。

RDMA介绍

RDMA（Remote Direct Memory Access，远程直接内存访问）是一种高性能网络通信技术，旨在解决传统网络传输中服务器端数据处理的延迟问题。RDMA允许数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这种机制实现了高吞吐量、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。

RDMA通过网络将数据直接传入目标计算机的存储区，实现从一个系统到远程系统存储器的快速数据移动。整个传输过程不对操作系统造成任何影响，因此几乎不消耗计算机的处理能力，继而减少外部存储器复制和上下文切换的开销，节省内存带宽和CPU周期，以提升应用系统性能。

前提条件

在Kubernetes中，Pod支持两种网络模式：

独立IP模式：Pod拥有独立的IP地址（非hostNetwork模式）
共享网络模式：Pod直接使用宿主节点网络（hostNetwork模式）

非hostNetwork模式的Pod使用RDMA功能时，需满足以下条件：

灵骏节点所在的灵骏裸金属集群的计算网络IP版本须为IPv6
创建灵骏裸金属集群时必须选择IPv6模式

关于如何创建灵骏裸金属集群及其对IPv6的支持情况，请提交工单咨询灵骏团队。

操作步骤

安装RDMA Device Plugin组件。

在集群列表页面，单击目标集群名称，然后在左侧导航栏，单击组件管理。

在组件管理页面，单击网络页签，定位RDMA Device Plugin组件，按照页面提示配置组件并完成安装。

配置项

说明

非hostNetwork模式的Pod的RDMA使用开关

选择非hostNetwork模式的Pod的RDMA使用开关。可选值：

False（不勾选）：仅允许hostNetwork模式的Pod使用RDMA网络。
True（勾选）：允许非hostNetwork模式的Pod使用RDMA网络。开启前，请确认ACK集群关联的灵骏裸金属集群使用的网络版本为IPv6，否则RDMA配置不生效。

确认RDMA Device Plugin已正常运行，且在每个有RDMA的灵骏节点都已启动。

kubectl get ds ack-rdma-dp-ds -n kube-system

预期输出：

NAME             DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
ack-rdma-dp-ds   2         2         2       2            2           <none>          xxh

检查节点是否拥有资源rdma/hca。

kubectl get node e01-cn-xxxx -oyaml

预期输出：

...
  allocatable:
    cpu: 189280m
    ephemeral-storage: "3401372677838"
    hugepages-1Gi: "0"
    hugepages-2Mi: "0"
    memory: 2063229768Ki
    nvidia.com/gpu: "8"
    pods: "64"
    rdma/hca: 1k
  capacity:
    cpu: "192"
    ephemeral-storage: 3690725568Ki
    hugepages-1Gi: "0"
    hugepages-2Mi: "0"
    memory: 2112881480Ki
    nvidia.com/gpu: "8"
    pods: "64"
    rdma/hca: 1k
...

执行以下YAML文件，为Pod使用RDMA功能申请rdma/hca资源。

申请量为rdma/hca：1即可。
如果RDMA Device Plugin组件未开启非hostNetwork模式的Pod允许使用RDMA的开关，则需配置hostNetwork: true的Pod才可使用RDMA功能。

apiVersion: batch/v1
kind: Job
metadata:
  name: hps-benchmark
spec:
  parallelism: 1
  template:
    spec:
      containers:
      - name: hps-benchmark
        image: **
        command:
        - sh
        - -c
        - |
          python /workspace/wdl_8gpu_outbrain.py
        resources:
          limits:
            nvidia.com/gpu: 8
            rdma/hca: 1
        workingDir: /root
        volumeMounts:
          - name: shm
            mountPath: /dev/shm
        securityContext:
          capabilities:
            add:
            - SYS_RESOURCE
            - IPC_LOCK
      restartPolicy: Never
      volumes:
        - name: shm
          emptyDir:
            medium: Memory
            sizeLimit: 8Gi
      hostNetwork: true
      tolerations:
        - operator: Exists