实践手册:QwQ-32B模型部署指导

更新时间:2025-03-13 03:28:05

本文为您介绍如何在Dify on DMS部署阿里云的QWQ-32B模型,以充分利用资源、降低LLM推理成本。

背景信息

QwQ-32B模型是阿里云最新发布的一款高性能的AI模型,其通过强化学习大幅度提升了模型推理能力。该模型的数学代码等核心指标(AIME 24/25、LiveCodeBench)以及部分通用指标(IFEval、LiveBench等)达到DeepSeek-R1满血版水平,各指标均显著超过同样基于Qwen2.5-32BDeepSeek-R1-Distill-Qwen-32B。更多模型信息,请参见深度思考(QwQ)

费用信息

购买AnalyticDB for PostgreSQL实例的费用

步骤一:开通AnalyticDB for PostgreSQL实例的AI节点

说明

若您已开通ADB.AIMedium.2及以上规格的AI节点,则请跳过该步骤。

  1. 登录云原生数据仓库AnalyticDB PostgreSQL版控制台

  2. 单击页面右上角的新建实例

  3. 在购买页配置实例相关信息

    说明
    • 购买的AnalyticDB for PostgreSQL实例需要与Dify部署的地域一致。

    • 打开AI节点开关,您才可以选择AI节点规格。请选择ADB.AIMedium.2及以上规格的节点。

    image

  4. 单击立即购买

步骤二:将AnalyticDB for PostgreSQL实例录入至DMS

  1. 登录数据管理DMS 5.0
  2. 在左侧数据库实例区域,单击新增image图标,再配置实例的相关信息

    image

  3. 单击提交

步骤三:部署模型

在未部署Dify资源的场景下,也可以部署和使用QwQ-32B模型。

  1. 登录数据管理DMS 5.0
  2. 进入工作空间页面。DMS提供了两种进入工作空间的路径,您可以根据需求进行选择。

    说明

    目前Dify功能处于邀测中,您需要申请使用名额才可看到操作入口。请通过钉钉(添加钉钉群:96015019923)联系DMS技术支持,并提供您的阿里云账号UIDDMS租户ID。

    路径一
    路径二

    单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > Data+AI > Dify

    说明

    若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择Data+AI > Dify

    image

    单击页面左侧的数智工厂image图标,再单击工作空间

    说明

    若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择数智工厂 > 工作空间

    image

  3. 单击目标工作空间名称。

    若未创建工作空间,请参见创建并进入工作空间

  4. Difyimage空间创建GPU集群。

    新建集群时,实例请选择在步骤一创建的AnalyticDB for PostgreSQL实例。

    image

  5. 单击页面左侧的模型中心image图标,再单击模型在线服务

  6. 单击部署服务,配置相关信息。部分参数说明如下:

    • 算法市场模型请选择Qwen/QwQ-32B。

    • 请根据您的需求选择副本数量

    image

  7. 单击部署

    当部署的服务状态为健康时,表示部署成功。

  8. 部署成功后,获取模型调用地址模型信息

    image

步骤四:在Dify模型供应商进行配置模型信息

  1. 进入工作空间,在左侧导航栏单击Difyimage图标,再选择工作室

  2. 工作室页面,单击右上角的账号名称,选择设置

    image

  3. 模型供应商页面,添加LLM类型的模型,然后填写模型名称服务器URL等相关信息后,单击保存

    • 模型名称:填写步骤二获取的模型信息。

    • 服务器URL:填写步骤二获取的调用地址。格式为:http://172.17.XXX.XXX: XX/V1

      image

  4. 当页面右上方出现模型提示后,表示部署成功。此时您可以在对话框中使用QwQ-32B模型。

    image

  • 本页导读 (1)
  • 背景信息
  • 费用信息
  • 步骤一:开通AnalyticDB for PostgreSQL实例的AI节点
  • 步骤二:将AnalyticDB for PostgreSQL实例录入至DMS
  • 步骤三:部署模型
  • 步骤四:在Dify模型供应商进行配置模型信息