首页 函数计算 FC 部署 Qwen2.5 模型

函数计算 FC 部署 Qwen2.5 模型

更新时间: 2025-01-26 12:07:02

手动部署

10

https://www.aliyun.com/solution/tech-solution/qwen2-5-for-platforms

方案概览

本方案旨在介绍如何将 Qwen2.5 开源模型部署到函数计算 FC 。通过函数计算 FC 部署 Ollama 和Open WebUI 两个应用。Ollama 负责托管 Qwen2.5 模型,方案提供的镜像预置了 1.5B 参数规模的 Qwen2.5 模型,Open WebUI 则为用户提供友好的交互界面。借助函数计算 FC,用户可以快速便捷地部署模型,而无需担心底层资源管理和运维问题,从而专注于应用的创新和开发。函数计算 FC 提供了免运维的高效开发环境,具备弹性伸缩和高可用性,并采用按量付费模式,有效降低资源闲置成本。

方案架构

按照本方案提供的配置完成部署后,会在阿里云上搭建一个如下图所示的运行环境。实际部署时,您可根据具体的资源规划调整部分配置,但最终的运行环境将与下图展示的架构相似。image

本方案的技术架构包括以下云服务:

  • 函数计算 FC :全托管的 Serverless 计算服务,用于部署模型服务与 Web 应用。

准备账号

  1. 如果您还没有阿里云账号,请访问阿里云账号注册页面,根据页面提示完成注册。阿里云账号是您使用云资源的付费实体,因此是部署方案的必要前提。

  2. 为阿里云账号充值:函数计算 FC 提供了免费试用额度,如果免费试用额度已耗尽,体验本方案预计成本在 1 ~ 10 元。

基于 Ollama 部署 Qwen2.5 模型

1

我们将部署 Ollama 应用以提供模型服务。Ollama 是一个便捷的模型部署和管理工具,帮助开发者高效托管和服务化模型,便于快速集成 AI 能力。

  1. 点击 Ollama 模板链接,访问创建Ollama应用页面。

  2. 当前应用模板提供了 Qwen2.5 : 1.5B 模型,请修改以下参数。

    项目

    说明

    示例值

    模型名称

    模型名称。

    通义千问2.5 1.5B

    显存大小

    显存值。

    16384

    内存大小

    内存值。

    32768

    CPU核数

    CPU核数。

    8

  3. 其余配置项可不作修改,点击创建并部署默认环境按钮部署应用,应用部署成功后如下图所示。image

Open WebUI 调用 Qwen2.5 模型

5

Open WebUI 是一个开源项目,提供了管理和操作模型的图形界面。

  1. 点击 Open WebUI 模板链接,访问创建 Open WebUI 应用页面。

  2. 高级配置 > 地域下拉列表中选择应用所属地域。

    警告

    确保所选地域与 Ollama 应用创建时所选的地域一致。

    image

  3. 应用模板中提供了开启鉴权的选项,建议在生产环境开启,以增加安全性,防止未经授权的访问。image

  4. Ollama 接口地址填入 Ollama 应用的内网访问地址。image

    说明

    Ollama 应用内网访问地址获取方式:

    1. 打开函数计算 FC应用页面,找到 Ollama 应用,点击应用名称进入应用详情。image

    2. 在应用详情页找到函数资源,点击函数名称进入函数详情页。image

    3. 鼠标移至 HTTP 触发器,在展开的信息中复制内网访问地址image

  5. 其余配置项可不作修改,点击创建并部署默认环境按钮部署应用,应用部署成功后如下图所示。image

  6. Open WebUI 应用部署完毕后,点击访问域名image

  7. 首次打开需要完成实例的创建和模型的部署,请等待 3-5 分钟。

应用体验

3

一、使用 Open WebUI 调用 Qwen2.5 模型

  1. 登录 Open WebUI 后,点击 Select a model ,在展开的下拉列表中选择 Qwen2.5 模型如果在下拉列表中未显示可用的模型,请在 5 分钟后尝试刷新页面以更新列表。

    说明

    首次部署需要等待约 5 分钟,不断刷新会导致实例反复调用,为避免消耗更多资源请不要反复刷新。

    image

  2. 可以在对话框中与系统进行交互,调用模型服务获得相应的响应。image

  3. Qwen2.5 模型具备支持超过 29 种语言的能力,例如能够用法语进行自我介绍。image

  4. 由于融入了领域专业专家模型,Qwen2.5 的知识广度和在编码与数学领域的能力都显著提升。我们可以提出一道数学题,Qwen2.5 能够给出正确的解答。image

  5. 点击image图标,选择本地文档上传,可以使用我们提供的“百炼”手机详细参数.docximage

  6. 针对当前文档撰写提示词“总结文档内容”。image

  7. 可以看到 Qwen2.5 模型成功提炼出了文档的关键信息。image

说明

Open WebUI 中文设置:

  1. 点击右上角image图标,在展开的下拉列表中选择 Settings image

  2. Settings 弹窗中,选择 General > Language image

  3. 在展开的下拉列表中找到并点击 Chinese(简体中文)image

  4. 页面会自动刷新,此时 Open WebUI 的界面语言已切换为简体中文,点击保存按钮后关闭弹窗。image

二、函数计算 FC 自动扩缩容机制

  1. 回到 Ollama 函数详情页,点击实例标签,如果当前实例列表为空,可以点击image图标刷新列表。image

  2. 实例列表中可以看到 Ollama 函数实例的数量发生了变化。这是因为函数计算 FC 会根据函数调用量自动扩缩容,调用增加时创建实例,请求减少后若实例空闲超过一定时间(通常 3-5 分钟),则自动销毁以节约资源。这种动态扩缩容的机制不仅提高了资源利用率,还降低了运行成本,使开发者能够专注于业务逻辑,而无需担心底层基础设施的管理。image

完成及清理

1

清理资源

  1. 删除 2 个函数计算应用

    1. 登录函数计算控制台,在左侧导航栏,单击应用image

    2. 找到目标应用,单击右侧操作列的删除应用image