inference-nv-pytorch 25.03_容器计算服务(ACS)-阿里云帮助中心

Main Features and Bug Fix Lists

Main Features

vLLM镜像Pytorch版本升级至2.6.0。
vLLM版本升级到v0.8.2。
SGLang版本升级至v0.4.4.post1。
ACCL-N升级为2.23.4.12，合入对应版本功能和Bug fix。

Bug Fix

（暂无）

	inference-nv-pytorch	inference-nv-pytorch
Tag	25.03-vllm0.8.2-pytorch2.6-cu124-20250327-serverless	25.03-sglang0.4.4.post1-pytorch2.5-cu124-20250327-serverless
应用场景	大模型推理	大模型推理
框架	pytorch	pytorch
Requirements	NVIDIA Driver release >= 550	NVIDIA Driver release >= 550
系统组件	Ubuntu 22.04 Python 3.10 Torch 2.6.0 CUDA 12.4 ACCL-N 2.23.4.12 accelerate 1.5.2 diffusers 0.32.2 flash_attn 2.7.4.post1 transformer 4.50.1 vllm 0.8.2 ray 2.44.0 triton 3.2.0	Ubuntu 22.04 Python 3.10 Torch 2.5.1 CUDA 12.4 ACCL-N 2.23.4.12 accelerate 1.5.2 diffusers 0.32.2 flash_attn 2.7.4.post1 transformer 4.48.3 vllm 0.7.2 ray 2.44.0 triton 3.2.0 flashinfer-python 0.2.3 sglang 0.4.4.post1 sgl-kernel 0.0.5

Asset

公网镜像

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.03-vllm0.8.2-pytorch2.6-cu124-20250328-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.03-sglang0.4.4.post1-pytorch2.5-cu124-20250327-serverless

VPC镜像

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}
{region-id}为您使用的ACS产品所在的开服地域，比如：cn-beijing。
{image:tag}为实际镜像的名称和Tag。

重要

目前仅华北2（北京）地域支持使用VPC方式拉取镜像。

说明

inference-nv-pytorch:25.03-vllm0.8.2-pytorch2.6-cu124-20250328-serverless和inference-nv-pytorch:25.03-sglang0.4.4.post1-pytorch2.5-cu124-20250327-serverless镜像适用于ACS产品形态、灵骏多租产品形态，不适用于灵骏单租产品形态。

Driver Requirements

NVIDIA Driver release >= 550

Quick Start

以下示例内容仅通过Docker方式拉取inference-nv-pytorch镜像，并使用Qwen2.5-7B-Instruct模型测试推理服务。

说明

在ACS中使用inference-nv-pytorch镜像需要通过控制台创建工作负载界面的制品中心页面选取，或者通过YAML文件指定镜像引用。更多详细操作，请参见使用ACS GPU算力构建DeepSeek模型推理服务系列内容：

拉取推理容器镜像。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

下载modelscope格式的开源模型。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

启动以下命令进入容器。

docker run -d -t --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

执行推理测试，测试vLLM推理对话功能。

启动Sever服务。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

在Client端进行测试。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "你是个友善的AI助手。"},
    {"role": "user", "content": "介绍一下深度学习。"}
    ]}'

输出如下所示：

更多关于vLLM的使用方法请参见vLLM。

Known Issues