本文为您介绍如何在Dify on DMS部署阿里云的QWQ-32B模型,以充分利用资源、降低LLM推理成本。
背景信息
QwQ-32B模型是阿里云最新发布的一款高性能的AI模型,其通过强化学习大幅度提升了模型推理能力。该模型的数学代码等核心指标(AIME 24/25、LiveCodeBench)以及部分通用指标(IFEval、LiveBench等)达到DeepSeek-R1满血版水平,各指标均显著超过同样基于Qwen2.5-32B的DeepSeek-R1-Distill-Qwen-32B。更多模型信息,请参见深度思考(QwQ)。
费用信息
购买AnalyticDB for PostgreSQL实例的费用。
步骤一:开通AnalyticDB for PostgreSQL实例的AI节点
若您已开通ADB.AIMedium.2及以上规格的AI节点,则请跳过该步骤。
单击页面右上角的新建实例。
在购买页配置实例相关信息。
购买的AnalyticDB for PostgreSQL实例需要与Dify部署的地域一致。
打开AI节点开关,您才可以选择AI节点规格。请选择ADB.AIMedium.2及以上规格的节点。
单击立即购买。
步骤二:将AnalyticDB for PostgreSQL实例录入至DMS
- 登录数据管理DMS 5.0。
在左侧数据库实例区域,单击新增
图标,再配置实例的相关信息。
单击提交。
步骤三:部署模型
在未部署Dify资源的场景下,也可以部署和使用QwQ-32B模型。
- 登录数据管理DMS 5.0。
进入工作空间页面。DMS提供了两种进入工作空间的路径,您可以根据需求进行选择。
目前Dify功能处于邀测中,您需要申请使用名额才可看到操作入口。请通过钉钉(添加钉钉群:96015019923)联系DMS技术支持,并提供您的阿里云账号UID和DMS租户ID。
路径一路径二单击控制台左上角的
图标,选择 。
若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择
。单击页面左侧的数智工厂
图标,再单击工作空间。
若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择
。单击目标工作空间名称。
若未创建工作空间,请参见创建并进入工作空间。
在Dify
空间创建GPU集群。
新建集群时,实例请选择在步骤一创建的AnalyticDB for PostgreSQL实例。
单击页面左侧的模型中心
图标,再单击模型在线服务。
单击部署服务,配置相关信息。部分参数说明如下:
算法市场模型请选择Qwen/QwQ-32B。
请根据您的需求选择副本数量。
单击部署。
当部署的服务状态为健康时,表示部署成功。
部署成功后,获取模型调用地址及模型信息。
步骤四:在Dify模型供应商进行配置模型信息
- 本页导读 (1)
- 背景信息
- 费用信息
- 步骤一:开通AnalyticDB for PostgreSQL实例的AI节点
- 步骤二:将AnalyticDB for PostgreSQL实例录入至DMS
- 步骤三:部署模型
- 步骤四:在Dify模型供应商进行配置模型信息