通过DMS AI插件接入模型

在您完成部署Dify部署私有模型操作后,可以通过DMS在模型供应商页面提供的DMS AI插件接入部署(私有或阿里云百炼)的模型服务,例如LLM、Embedding、Rerank服务。

接入LLM服务

接入私有部署的LLM服务

说明

目前支持接入的模型如下:

DeepSeek-R1-Distill-Qwen-1.5BDeepSeek-R1-Distill-Qwen-7BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Llama-70B

  1. 进入模型中心,在DMS的模型部署详情页面,获取模型名称(对应模型信息)、模型服务的URL(对应服务的调用地址)。

    image

  2. 进入Dify空间的工作室页面,单击账号名称,选择设置

    image

  3. 模型供应商页面,填写模型名称API Key服务器URL等相关信息后,单击保存

    服务器URL格式为:http://172.17.XXX.XXX: XX/V1

接入阿里云百炼大模型提供的LLM服务

说明

使用阿里云百炼提供的LLM服务前,需要为Dify所使用的VPC开通公网访问权限。本操作以接入DeepSeek-R1为例。

  1. 进入工作空间,在左侧导航栏单击Difyimage图标,再选择工作室

  2. 工作室页面,单击右上角的账号名称,选择设置

  3. 模型供应商页面,选择LLM模型类型,然后填写模型名称API Key服务器URL等相关信息后,单击保存

    • 模型名称:在阿里云百炼部署的模型的名称。

    • API Key:获取API Key

    • 服务器URL:填入阿里云百炼服务器地址,共享模型服务的URLhttps://dashscope.aliyuncs.com/compatible-mode/v1

    image.png

接入Embedding/Rerank模型

使用私有部署的Embedding/Rerank服务

DMS AI支持的EmbeddingRerank模型如下:

类型

模型名称

最大上下文长度

Embedding

bge-m3

8192

bge-large-zh-v1.5

512

Rerank

bge-reranker-v2-m3

8192

步骤一:在DMS AI插件中注册模型信息

  1. 进入Dify工作室页面,单击右上角的账号名称,选择设置

  2. 模型供应商页面,添加Text EmbeddingRerank类型的模型并配置参数信息,再单击保存

    说明

    您仅需要配置模型名称服务提供商API Key服务器URL参数即可。

    image

步骤二:在知识库配置页面选择该模型

  1. 进入Dify工作室页面。

  2. 知识库页签下,选择创建知识库

    image

  3. 在知识库配置页面,选择待接入的模型。

使用AnalyticDB for PostgreSQL提供Embedding/Rerank服务

步骤一:在DMS AI插件中注册模型信息

  1. 进入Dify工作室页面,单击右上角的账号名称,选择设置

  2. 模型供应商页面,添加Text EmbeddingRerank类型的模型并配置参数信息,再单击保存

    说明

    image

步骤二:在知识库配置页面使用模型

  1. 进入Dify工作室页面。

  2. 知识库页签下,选择创建知识库

    image

  3. 在知识库配置页面,选择待接入的模型。