基于计算巢一键部署Qwen3系列模型

查询模型部署参数

1. 在日志管理页签中，找到资源类型为ALIYUN::ECS::RunCommand，复制并单击关联ID，进入ECS 云助手控制台。

   

2. 在ECS 云助手控制台的命令执行结果页签中，粘贴关联ID并搜索。

   

3. 单击操作栏中的查看，在执行信息页签的命令内容中，您可找到模型部署参数。

   

自定义参数部署模型

如果您有使用自定义模型部署参数的需求，可以在部署服务实例后，按照如下操作步骤进行修改并重新部署。

1. 在资源页签中，单击ECS实例的远程连接。在弹窗中单击免密登录，进入ECS实例。

   

2. 执行下面的命令，停止模型服务。

   警告

   停止服务会导致业务中断，建议您在非业务高峰期时执行该操作。

   sudo docker stop vllm
   sudo docker rm vllm

3. 获取模型部署命令，根据需求修改并在命令行中执行。

   下方分别是vllm与sglang部署的参考脚本，您可参考注释修改实际执行的脚本。

   说明

   重新部署大约需要10分钟，请您耐心等待。

   vllm部署

   sudo docker run -d -t --net=host \
    --gpus all \ # 允许容器访问所有可用的GPU设备
    --entrypoint /bin/bash \
    --privileged \
    --ipc=host \
    --name vllm \ # 给容器指定一个易于识别的名字vllm
    -v /root:/root \ 将宿主机的/root目录挂载到容器内的/root，实现数据共享
    egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.7.2-pytorch2.5.1-cuda12.4-ubuntu22.04 \
    -c "pip install --upgrade vllm==0.8.2 && # 可自定义版本，如 pip install vllm==0.7.1
    export GLOO_SOCKET_IFNAME=eth0 && # 采用vpc进行网络通信所需环境变量，勿删改
    export NCCL_SOCKET_IFNAME=eth0 && # 采用vpc进行网络通信所需环境变量，勿删改
    vllm serve /root/llm-model/${ModelName} \  # 使用服务启动模型
    --served-model-name ${ModelName} \  # 指定服务中使用的模型名称
    --gpu-memory-utilization 0.98 \ # Gpu占用率，过高可能导致其他进程触发OOM。取值范围:0~1
    --max-model-len ${MaxModelLen} \ # 模型最大长度，取值范围与模型本身有关。
    --enable-chunked-prefill \
    --host=0.0.0.0 \
    --port 8080 \
    --trust-remote-code \
    --api-key "${VLLM_API_KEY}" \ # 可选，设置API密钥，如不需要可去掉。
    --tensor-parallel-size $(nvidia-smi --query-gpu=index --format=csv,noheader | wc -l | awk '{print $1}')" # 使用GPU数量，默认使用全部GPU。

   sglang部署

    #下载包含sglang的公开镜像
    sudo docker pull egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250224
   
    sudo docker run -d -t --net=host \
    --gpus all \ # 允许容器访问所有可用的GPU设备
    --entrypoint /bin/bash \
    --privileged \
    --ipc=host \
    --name llm-server \
    -v /root:/root \
    egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.7.2-sglang0.4.3.post2-pytorch2.5-cuda12.4-20250224 \ 
    -c "pip install sglang==0.4.3 && # 可自定义版本
    export GLOO_SOCKET_IFNAME=eth0 && # 采用vpc进行网络通信所需环境变量，勿删改
    export NCCL_SOCKET_IFNAME=eth0 && # 采用vpc进行网络通信所需环境变量，勿删改
    python3 -m sglang.launch_server \
    --model-path /root/llm-model/${ModelName} \ # 使用服务启动模型
    --served-model-name ${ModelName} \ # 指定服务中使用的模型名称
    --tp $(nvidia-smi --query-gpu=index --format=csv,noheader | wc -l | awk '{print $1}')" \ # 使用GPU数量，默认使用全部GPU。
    --trust-remote-code \
    --host 0.0.0.0 \
    --port 8080 \
    --mem-fraction-static 0.9 # Gpu占用率，过高可能导致其他进程触发OOM。取值范围:0~1

   执行成功，如下如所示。

   

4. 执行下面的命令，查看模型服务是否运行。执行若结果如下图所示，则模型服务重新部署成功。

   sudo docker ps
   sudo docker logs vllm  

   

   

性能测试参考