函数计算 FC 部署 Qwen2.5 模型
手动部署
10
https://www.aliyun.com/solution/tech-solution/qwen2-5-for-platforms
方案概览
本方案旨在介绍如何将 Qwen2.5 开源模型部署到函数计算 FC 。通过函数计算 FC 部署 Ollama 和Open WebUI 两个应用。Ollama 负责托管 Qwen2.5 模型,方案提供的镜像预置了 1.5B 参数规模的 Qwen2.5 模型,Open WebUI 则为用户提供友好的交互界面。借助函数计算 FC,用户可以快速便捷地部署模型,而无需担心底层资源管理和运维问题,从而专注于应用的创新和开发。函数计算 FC 提供了免运维的高效开发环境,具备弹性伸缩和高可用性,并采用按量付费模式,有效降低资源闲置成本。
方案架构
按照本方案提供的配置完成部署后,会在阿里云上搭建一个如下图所示的运行环境。实际部署时,您可根据具体的资源规划调整部分配置,但最终的运行环境将与下图展示的架构相似。
本方案的技术架构包括以下云服务:
函数计算 FC :全托管的 Serverless 计算服务,用于部署模型服务与 Web 应用。
准备账号
基于 Ollama 部署 Qwen2.5 模型
1
我们将部署 Ollama 应用以提供模型服务。Ollama 是一个便捷的模型部署和管理工具,帮助开发者高效托管和服务化模型,便于快速集成 AI 能力。
点击 Ollama 模板链接,访问创建Ollama应用页面。
当前应用模板提供了 Qwen2.5 : 1.5B 模型,请修改以下参数。
项目
说明
示例值
模型名称
模型名称。
通义千问2.5 1.5B
显存大小
显存值。
16384
内存大小
内存值。
32768
CPU核数
CPU核数。
8
其余配置项可不作修改,点击创建并部署默认环境按钮部署应用,应用部署成功后如下图所示。
Open WebUI 调用 Qwen2.5 模型
5
Open WebUI 是一个开源项目,提供了管理和操作模型的图形界面。
点击 Open WebUI 模板链接,访问创建 Open WebUI 应用页面。
在高级配置 > 地域下拉列表中选择应用所属地域。
警告确保所选地域与 Ollama 应用创建时所选的地域一致。
应用模板中提供了开启鉴权的选项,建议在生产环境开启,以增加安全性,防止未经授权的访问。
Ollama 接口地址填入 Ollama 应用的内网访问地址。
说明Ollama 应用内网访问地址获取方式:
打开函数计算 FC应用页面,找到 Ollama 应用,点击应用名称进入应用详情。
在应用详情页找到函数资源,点击函数名称进入函数详情页。
鼠标移至 HTTP 触发器,在展开的信息中复制内网访问地址。
其余配置项可不作修改,点击创建并部署默认环境按钮部署应用,应用部署成功后如下图所示。
Open WebUI 应用部署完毕后,点击访问域名。
首次打开需要完成实例的创建和模型的部署,请等待 3-5 分钟。
应用体验
3
完成及清理
1
清理资源
删除 2 个函数计算应用:
登录函数计算控制台,在左侧导航栏,单击应用。
找到目标应用,单击右侧操作列的删除应用。