模型部署

本文介绍如何部署、查看开源和自研的模型服务,例如DeepSeek模型、Qwen模型等。

操作步骤

1. 进入模型列表页

  1. 登录数据管理DMS 5.0
  2. 进入工作空间页面。

    DMS提供了两种进入工作空间的路径,您可根据需求选择。

    路径一

    单击控制台左上角的2023-01-28_15-57-17.png图标,选择全部功能 > Data+AI > Dify

    说明

    若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择Data+AI > Dify

    image

    路径二

    单击页面左侧的数智工厂image图标,再单击工作空间

    说明

    若您使用的是非极简模式的控制台,请在顶部菜单栏中,选择数智工厂 > 工作空间

    image

  3. 单击目标空间名称

  4. DMS Dify页面,选择模型中心 > 模型在线服务image

  5. 在列表页,您可以查看模型服务的服务状态部署方式创建人创建时间等信息,并可以对模型执行停止启动删除操作。22

2. 新建模型

说明

如果您在一键购买资源并创建Dify+Qwen3/DeepSeek时,部署范围选择Dify+模型服务(Qwen3,Deepseek),则可以跳过该步骤。

  1. 单击部署服务

  2. 在部署模型侧边框中,配置以下参数。

    参数

    说明

    服务名称

    设置模型服务的名称,建议配置具有业务意义的名称,便于后续识别。

    部署方式

    选择镜像部署。暂不支持选择MLflow模型部署

    算法市场模型

    根据需求选择合适的模型。

    支持部署的模型及对应需要购买的AnalyticDB for PostgreSQL实例的AI节点规格如下:

    • DeepSeek-R1-Distill-Qwen-1.5B对应ADB.AIStandard.1。

    • DeepSeek-R1-Distill-Qwen-7B对应ADB.AIStandard.2。

    • DeepSeek-R1-Distill-Qwen-14B对应ADB.AIStandard.2。

    • DeepSeek-R1-Distill-Qwen-32B对应ADB.AIMedium.2。

    • DeepSeek-R1-Distill-Llama-70B对应ADB.AILarge.2。

    • dms-ai/embedding-Pro对应ADB.AIStandard.5。

    • QwQ-32B对应ADB.AIMedium.2。

    • Qwen3-30B-A3B对应ADB.AIStandard.2。

    • Qwen3-32B对应ADB.AIMedium.2。

    • Qwen3-14B对应ADB.AIStandard.2。

    • Qwen3-8B对应ADB.AIStandard.2。

    • Qwen3-4B对应ADB.AIStandard.2。

    • Qwen3-1.7B对应ADB.AIStandard.2。

    • Qwen3-0.6B对应ADB.AIStandard.2。

    资源规格

    下拉选择合适的GPU集群,并配置副本数量,其他配置保持默认即可。

    如果下拉没有GPU集群,则需要您前往资源管理页面新建相关的GPU集群。33

    网络配置

    选择合适的VPC和交换机。

  3. 单击部署

3. 查看模型

  1. 在模型列表中,单击模型,进入详情页。

  2. 模型详情页由基本信息资源信息网络信息在线调试四个模块组成,具体介绍如下。

    模块

    说明

    示例

    基本信息

    该模块展示了模型的服务名称服务ID创建时间调用地址部署方式模型信息存活节点数等信息。

    11

    资源信息

    该模块展示了模型的所属集群副本数资源规格信息,您可以在该模块进行扩缩容操作。

    22

    网络信息

    该模块展示了模型的VPC交换机安全组信息。

    33

    在线调试

    在该模块,您可以在线调试模型。

    例如,您在输入框中输入参数值后,单击发送请求,系统会在下方返回输出信息。

    44