基于GPU实例的BEVFormer模型训练与优化

方案概述

BEVFormer 是自动驾驶领域经典的鸟瞰图（BEV）感知模型，由于其复杂的注意力机制和算子，训练过程极其耗时。针对这一痛点，阿里云从操作系统到底层算子提供了全栈调优方案。

核心优化策略与预期收益：

• OS 级优化 (KeenTune)：利用阿里云全栈式智能优化产品 KeenTune（轻豚）调整 OS 性能 profile，在 FP16/FP32 下吞吐均有约12%的提升。

• Python 基础包优化：优化 detectron2、mmdet3d 等基础依赖库，使 FP32 吞吐提升约 10%，FP16 提升约 15%。

• 核心算子优化：优化了 mmdet3d 的关键 module（包括 ms_deformableAttention、SampleCams、gather_reference_points_cams、ConvergeCams、mFastLayerNorm、DCNv2），进一步提升 FP16 数据精度的训练性能，在原有BASE+Keentune优化+Python包优化的基础上，叠加算子优化后FP16下吞吐最大提升48%（mbs为1时）。

叠加上述优化后，在 ecs.ebmgn8v.48xlarge 实例上，FP16 数据精度性能最大可提升 115%（mbs为5时），FP32 数据精度性能最大可提升 47%（mbs为2时）。

步骤一：创建 GPU 实例与基础环境准备

首先需购买阿里云 GPU 实例，并配置包含 GPU 驱动和容器引擎的基础运行环境。预装环境镜像免去了手动安装显卡驱动及容器 Toolkit 的繁琐步骤，推荐使用。

步骤二：拉取基础镜像运行基准测试

通过拉取阿里云预置的开源版基础镜像，快速运行BEVFormer单机训练，获取优化前的基准吞吐量。

1. 拉取 BEVFormer 基础镜像。

   docker pull egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/autonomous-driving:bevformer_base_ubuntu22.04_pytorch2.6_cu126_py310_20250923_140000

2. 启动容器。

   docker run -dt --network=host --gpus all --privileged --ipc=host \
     --ulimit memlock=-1 --ulimit stack=67108864 \
     --name bevformer_base_test \
     egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/autonomous-driving:bevformer_base_ubuntu22.04_pytorch2.6_cu126_py310_20250923_140000

   参数解析：

   • --network=host：使用宿主机网络

   • --gpus all：挂载所有可用 GPU

   • --privileged：赋予容器扩展权限

   • --ipc=host：共享宿主机共享内存，避免 PyTorch DataLoader 报错

   • --ulimit memlock=-1 --ulimit stack=67108864：解除内存锁定与堆栈限制

3. 进入容器交互式终端。

    docker exec -it bevformer_base_test /bin/bash

4. 进入代码目录，发起训练测试：

   cd /root/BEVFormer
   
   # 测试 FP32 精度性能（末尾的 8 代表使用 8 张 GPU 并发训练）
   bash ./tools/dist_train.sh ./projects/configs/bevformer/bevformer_base.py 8
   
   # 或测试 FP16 精度性能
   bash ./tools/fp16/dist_train.sh ./projects/configs/bevformer_fp16/bevformer_base_fp16.py 8

观察并计算基准吞吐量 (Throughput)：

在控制台打印的日志中，观察单轮迭代耗时（time字段，在日志的位置如图所示）。

基准吞吐量计算公式：Throughput (samples/sec) = samples_per_gpu (mbs) * GPU数量 / 平均单论迭代耗时。

例如，在FP32精度、samples_per_gpu=1 的配置下，若平均单轮迭代耗时为 1.397 秒，且使用 8 张 GPU，则基准吞吐量 = 1 * 8 / 1.397 ≈ 5.72。

步骤三：应用全栈优化方案提升训练性能

依次开启宿主机操作系统级调优，并使用包含深度优化算子的专属镜像，提升硬件计算效率。

# 1. 回滚 KeenTune 调优参数（需重启生效）
keentune profile rollback

# 2. 停用并卸载 KeenTune
systemctl stop keentuned keentune-target
systemctl disable keentuned keentune-target

# 根据 OS 类型卸载
if [ -f "/etc/os-release" ]; then
    # 读取 NAME 字段，判断是否包含 "Ubuntu"
    if grep -qi '^NAME="Ubuntu"' /etc/os-release; then
        apt purge keentuned -y
        apt purge keentune-target -y
        apt purge keentune-profiles-aiext.noarch -y
    else
        dnf remove -y keentuned keentune-target
        dnf remove -y keentune-profiles-aiext.noarch
    fi
fi

# 3. 恢复默认的 tuned 服务
systemctl start tuned && systemctl enable tuned