inference-nv-pytorch 25.08-容器计算服务(ACS)-阿里云帮助中心

Main Features and Bug Fix Lists

Main Features

vLLM版本升级到v0.10.0;
SGLang版本升级至v0.4.10.post2；

Bug Fix

（无）

	inference-nv-pytorch	inference-nv-pytorch
Tag	25.08-vllm0.10.0-pytorch2.7-cu128-20250811-serverless	25.08-sglang0.4.10.post2-pytorch2.7-cu128-20250808-serverless
应用场景	大模型推理	大模型推理
框架	pytorch	pytorch
Requirements	NVIDIA Driver release >= 570	NVIDIA Driver release >= 570
系统组件	Ubuntu 24.04 Python 3.12 Torch 2.7.1+cu128 CUDA 12.8 NCCL 2.27.5 diffusers 0.34.0 deepgpu-comfyui 1.1.7 deepgpu-torch 0.0.24+torch2.7.0cu128 flash_attn 2.8.2 imageio 2.37.0 imageio-ffmpeg 0.6.0 diffusers 0.34.0 ray 2.48.0 transformers 4.55.0 triton 3.3.1 vllm 0.10.0 xformers 0.0.31 xfuser 0.4.4 xgrammar 0.1.21	Ubuntu 24.04 Python 3.12 Torch 2.7.1+cu128 CUDA 12.8 NCCL 2.27.5 diffusers 0.34.0 deepgpu-comfyui 1.1.7 deepgpu-torch 0.0.24+torch2.7.0cu128 flash_attn 2.8.2 flash_mla 1.0.0+41b611f flashinfer-python 0.2.9rc2 imageio 2.37.0 imageio-ffmpeg 0.6.0 diffusers 0.34.0 transformers 4.54.1 sgl-kernel 0.2.8 sglang 0.4.10.post2 xgrammar 0.1.22 triton 3.3.1 torchao 0.9.0

Asset

公网镜像

egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.08-vllm0.10.0-pytorch2.7-cu128-20250811-serverless
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:25.08-sglang0.4.10.post2-pytorch2.7-cu128-20250808-serverless

VPC镜像

acs-registry-vpc.{region-id}.cr.aliyuncs.com/egslingjun/{image:tag}
{region-id}为您使用的ACS产品所在的开服地域，比如：cn-beijing、cn-wulanchabu等。
{image:tag}为实际镜像的名称和Tag。

说明

inference-nv-pytorch:25.08-vllm0.10.0-pytorch2.7-cu128-20250811-serverless和inference-nv-pytorch:25.08-sglang0.4.10.post2-pytorch2.7-cu128-20250808-serverless镜像适用于ACS产品形态、灵骏多租产品形态，不适用于灵骏单租产品形态。

Driver Requirements

NVIDIA Driver release >= 570

Quick Start

以下示例内容仅通过Docker方式拉取inference-nv-pytorch镜像，并使用Qwen2.5-7B-Instruct模型测试推理服务。

说明

在ACS中使用inference-nv-pytorch镜像需要通过控制台创建工作负载界面的制品中心页面选取，或者通过YAML文件指定镜像引用。更多详细操作，请参见使用ACS GPU算力构建模型推理服务系列内容：

拉取推理容器镜像。

docker pull egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

下载modelscope格式的开源模型。

pip install modelscope
cd /mnt
modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

启动以下命令进入容器。

docker run -it --rm --gpus all --network=host --privileged --init --ipc=host \
--ulimit memlock=-1 --ulimit stack=67108864  \
-v /mnt/:/mnt/ \
egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/inference-nv-pytorch:[tag]

执行推理测试，测试vLLM推理对话功能。

启动Sever服务。

python3 -m vllm.entrypoints.openai.api_server \
--model /mnt/Qwen2.5-7B-Instruct \
--trust-remote-code --disable-custom-all-reduce \
--tensor-parallel-size 1

在Client端进行测试。

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "/mnt/Qwen2.5-7B-Instruct",  
    "messages": [
    {"role": "system", "content": "你是个友善的AI助手。"},
    {"role": "user", "content": "介绍一下深度学习。"}
    ]}'

输出：

{"id":"chat-d3c28759793d4376a65bfc4e40b59a71","object":"chat.completion","created":1735278194,"model":"/mnt/deep_learning_test/testsuite/dataset/llms_inference_qwen7b-v2.5_accelerate/checkpoint/7B-V2.5/","choices":[{"index":0,"message":{"role":"assistant","content":"深度学习是机器学习的一个分支，它受到生物神经系统，尤其是大脑中神经元之间交互的启发。深度学习利用深层神经网络处理并分析大量数据，以识别出有效的预测模型。这种技术在图像识别、语音识别、自然语言处理等多条多条上取得了量著的成功。\n\n在深度学习中，神经网络由多层组成，包括输入层、若干隐藏层和输出层。每一层都包含多个节点（或称为神经元），这些节点通过加权连接与其他层的节点相连。在训练过程中，神经网络会根据输入数据调整这些连接的权重，以最小化预测输出与实际输出之间的误差。这一过程通常使用梯度下降等优化算法实现。\n\n深度学习模型的训练需要大量的计算资源和数据支持。近年来，随着计算硬件的进步（如GPU、TPU等），以及数据集的快速增长，深度学习技术得到了广泛应用和发展。除了上述提到的应用外，深度学习还被广泛应用于医疗诊断、自动驾驶、游戏和金融等多个领域。","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":237,"completion_tokens":213}}

更多关于vLLM的使用方法请参见vLLM。

Known Issues

deepgpu-comfyui插件，加速Wanx模型视频生成，目前仅支持GN8IS、G49E。