本文介绍如何部署、查看开源和自研的模型服务,例如DeepSeek模型、Qwen模型等。
操作步骤
1. 进入模型列表页
- 登录数据管理DMS 5.0。
进入工作空间页面。
DMS提供了两种进入工作空间的路径,您可根据需求选择。
路径一
单击控制台左上角的
图标,选择 。
说明若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择
。路径二
单击页面左侧的数智工厂
图标,再单击工作空间。
说明若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择
。单击目标空间名称。
在DMS Dify页面,选择
。在列表页,您可以查看模型服务的服务状态、部署方式、创建人、创建时间等信息,并可以对模型执行停止、启动和删除操作。
2. 新建模型
如果您在一键购买资源并创建Dify+Qwen3/DeepSeek时,部署范围选择Dify+模型服务(Qwen3,Deepseek),则可以跳过该步骤。
单击部署服务。
在部署模型侧边框中,配置以下参数。
参数
说明
服务名称
设置模型服务的名称,建议配置具有业务意义的名称,便于后续识别。
部署方式
选择镜像部署。暂不支持选择MLflow模型部署。
算法市场模型
根据需求选择合适的模型。
支持部署的模型及对应需要购买的AnalyticDB for PostgreSQL实例的AI节点规格如下:
DeepSeek-R1-Distill-Qwen-1.5B对应ADB.AIStandard.1。
DeepSeek-R1-Distill-Qwen-7B对应ADB.AIStandard.2。
DeepSeek-R1-Distill-Qwen-14B对应ADB.AIStandard.2。
DeepSeek-R1-Distill-Qwen-32B对应ADB.AIMedium.2。
DeepSeek-R1-Distill-Llama-70B对应ADB.AILarge.2。
dms-ai/embedding-Pro对应ADB.AIStandard.5。
QwQ-32B对应ADB.AIMedium.2。
Qwen3-30B-A3B对应ADB.AIStandard.2。
Qwen3-32B对应ADB.AIMedium.2。
Qwen3-14B对应ADB.AIStandard.2。
Qwen3-8B对应ADB.AIStandard.2。
Qwen3-4B对应ADB.AIStandard.2。
Qwen3-1.7B对应ADB.AIStandard.2。
Qwen3-0.6B对应ADB.AIStandard.2。
资源规格
下拉选择合适的GPU集群,并配置副本数量,其他配置保持默认即可。
如果下拉没有GPU集群,则需要您前往资源管理页面新建相关的GPU集群。
网络配置
选择合适的VPC和交换机。
单击部署。
3. 查看模型
在模型列表中,单击模型,进入详情页。
模型详情页由基本信息、资源信息、网络信息和在线调试四个模块组成,具体介绍如下。
模块
说明
示例
基本信息
该模块展示了模型的服务名称、服务ID、创建时间、调用地址、部署方式、模型信息和存活节点数等信息。
资源信息
该模块展示了模型的所属集群、副本数和资源规格信息,您可以在该模块进行扩缩容操作。
网络信息
该模块展示了模型的VPC、交换机和安全组信息。
在线调试
在该模块,您可以在线调试模型。
例如,您在输入框中输入参数值后,单击发送请求,系统会在下方返回输出信息。