大语言模型（ LLM）推理引擎DeepGPU-LLM_GPU云服务器(EGS)-阿里云帮助中心

DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。

产品简介

DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性和广泛适用性，旨在优化大语言模型在GPU云服务器上的推理过程，通过优化和并行计算等技术手段，为您提供免费的高性能、低延迟推理服务。

DeepGPU-LLM的关联布局图如下所示：

DeepGPU-LLM的主要功能包括：

DeepGPU-LLM所需的基础环境依赖如下所示：

使用DeepGPU-LLM处理大语言模型（LLM）在GPU上的推理优化时，需要您提前准备如下安装包：

安装包名称

说明

LLM模型推理加速安装包。

LLM模型推理加速安装包中所包含的文件如下所示：

文件名称	说明
`llama_model.py` `chatglm_model.py` `baichuan_model.py` `qwen_model.py` `deepgpu_utils.py`	主流模型的推理依赖代码
`huggingface_llama_convert` `huggingface_glm_convert` `huggingface_chatglm2_convert` `huggingface_baichuan_convert` `huggingface_qwen_convert`	主流模型权重转换脚本
`baichuan_cli` `baichuan_hf_cli` `chatglm_cli` `chatglm_hf_cli` `llama_cli` `qwen_cli`	安装包提供的可运行示例代码说明准备好模型后可以直接运行示例代码，通过`--help`可查看具体参数配置。