基于Open WebUI+Ollama一键部署QwQ-32B模型_系统运维管理(OOS)-阿里云帮助中心

阿里云系统运维管理（OOS）的公共扩展功能为您提供了一键部署OpenWebUI+Ollama的便捷方案，在ECS上成功部署OpenWebUI+Ollama后，您可以更加便捷地部署QwQ-32B模型。

背景信息

QwQ-32B模型：阿里云发布的QwQ-32B模型通过强化学习大幅提升了模型的推理能力，该模型数学代码等核心指标（例如AIME 24/25和livecodebench）、部分通用指标（例如IFEval和LiveBench等）均达到了DeepSeek-R1满血版水平，同时，各指标均显著超过了基于Qwen2.5-32B 的DeepSeek-R1-Distill-Qwen-32B。
Open WebUI：是一个开源的用户界面（UI）工具，通常用于与大型语言模型（LLM）进行交互。其提供了一个图形化的前端界面，支持多种后端模型，允许您通过简单的配置文件或命令行参数来切换不同的模型。
展开查看：Open WebUI特点
- 支持多种语言模型（如 LLaMA、ChatGLM、Qwen 等）。
- 提供了友好的图形化界面，便于用户输入和查看输出。
- 可以自定义提示词（prompt），并支持多轮对话。
- 支持模型推理时的参数调整，如温度（temperature）、top-k、top-p等。
Ollama：是一个专为大语言模型服务设计的开源工具，方便您在本地快速部署大模型。通过简单的安装过程，您可以用一条命令启动和操作这些开源的大语言模型。
展开查看：Ollama特点
- 易用性：提供一个易于使用的命令行界面和服务器，简化构建大语言模型应用的流程。
- 便捷性：更加方便地下载、运行和管理各种开源的大模型。

前提条件

已创建ECS实例，且ECS实例需满足以下条件：
- ECS实例处于运行中状态。
- ECS实例具有公网访问能力。
- 仅支持选择以下操作系统版本。
  - （推荐）Alibaba Cloud Linux 3.2104 LTS/2.1903 LTS
  - Ubuntu 24.04/22.04/20.04
  - CentOS 7.9/7.8/7.7
  - Debian 12.6/12.5
  - OpenSUSE 15
  - Fedora 40/39/38
  - Anolis OS 8.9/8.8
  - AlmaLinux 9.5/9.4/9.3
- 如果选择本地部署qwq-32b模型方式，建议ECS满足CPU 16核以上、内存64 GB以上、硬盘30 GB以上以及显卡24 GB以上的性能要求。
  说明
  如果选择阿里云百炼qwq-32b在线模型方式，对ECS性能没有要求，普通ECS实例即可。
已创建安全组，且安全组入方向需开放3000端口。
您可以添加安全组规则来开放3000端口。

操作步骤

步骤一：安装Open WebUI+Ollama

说明

扩展程序内的Open WebUI已经完成了与Ollama的集成，借助Open WebUI提供的图形化用户界面，使得其与Ollama的交互变得更加直观和便捷。

进入OOS控制台>扩展程序页面。
在公共扩展程序页签下，找到OpenWebUI程序，单击安装扩展程序。
在新建批量管理软件任务页面，根据页面提示配置相关参数，单击创建。
其中，在选择实例区域，请选择待安装Open WebUI+Ollama的目标ECS实例，本示例以手动选择实例方式为例，其他参数保持默认。
在弹出的参数确认对话框中，单击确定。
在执行步骤和结果区域，选择输出 > 扩展信息，查看已安装好的Open WebUI的URL。
Open WebUI的URL格式为http://{ECS的公网ip}:3000。
单击URL链接，根据提示创建账号并登录使用Open WebUI。

步骤二：基于Open WebUI+Ollama部署QwQ-32B模型

进入Open WebUI管理界面，根据QwQ-32B模型来源不同，选择不同的部署方式。

说明

在Open WebUI管理界面，下载QWQ-32b模型时，其实是执行Ollama的命令来下载和部署模型，大大简化了操作流程，并提升了开发效率。

部署QwQ-32B本地模型

阿里云百炼在线模型

如需了解更多信息，请参见OpenWebUI官方文档。

进入ollama官网页面。
搜索qwq，选择从Ollama.com拉取''qwq''。
待模型下载部署完成，选择对应模型并开始对话。

您也可以配置连接阿里云百炼上的在线模型，百炼现在对于新用户还有最长达半年的免费额度，请参见新人免费额度。

进入Open WebUI的URL（例如http://{ECS的公网ip}:3000）。
在页面右上角，选择 > 管理员面板。
在编辑连接对话框中，添加阿里云百炼的URL、密钥和模型信息，然后单击保存。
您可以登录阿里云百炼控制台获取阿里云百炼的URL、API KEY以及模型信息等。
参数说明如下：
- URL：填写阿里云百炼的URL，例如https://dashscope.aliyuncs.com/compatible-mode/v1。
- 密钥：填写您百炼账号API KEY。
- 模型ID：添加qwq-32b模型名称。
保存完成后回到对话页面，查看已部署的QwQ-32B模型。
选择QwQ-32B模型并开始对话。

FAQ：部署QwQ-32B模型过程中，Open WebUI访问比较慢怎么办？

在Open WebUI页面的右上角，选择 > 管理员面板。选择以下任意方式解决该问题。

关闭OpenAI API的连接。
按需替换外部API连接，例如，阿里云百炼的API访问速度比较快。

附录

通过OOS的公共扩展程序安装Open WebUI+Ollama的原理

您可以在公共扩展详情页，查看完整的安装脚本。安装原理如下：

先完成了Docker的安装，再拉取open-webui:ollama镜像并启动该容器。其中，open-webui:ollama镜像内已配置好Open WebUI和Ollama的集成，并维护在aliyun-computenest-opensource-registry公开仓库中，您可随时拉取使用。

脚本里，Docker命令创建了名为ollama和open-webui的卷，用于持久化容器内的数据，并将主机的3000端口映射到容器的8080端口。您可以按需调整脚本，以适应个性化的安装需求。

脚本部分示例展示：

#之前是docker安装-----------
sudo systemctl start dockersudo systemctl enable dockerdocker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always aliyun-computenest-opensource-registry.cn-hangzhou.cr.aliyuncs.com/default/open-webui:ollamasleep 5 # 等待容器初始化docker ps -f name=openwebui

Open WebUI常用功能介绍

除了本文提到的基本对话功能，Open WebUI还有其他功能，以下列举几个比较常用的功能。

多模型对比输出
您可以添加多个模型，开启对话后，会以分栏的方式同时展示不同模型的回答。您可以对比答案，挑选更符合要求的结果。
您可以整合多个答案，选择最优结果。
自定义推理参数
您可以自定义模型的系统提示词、函数调用、温度k等配置，调出最适合自己的模型参数。
此外，Open WebUI还有个性化知识库、AI对话游乐场等功能，请参见Open WebUI官网。