在您完成部署Dify、部署私有模型操作后,可以通过DMS在模型供应商页面提供的DMS AI插件接入部署(私有或阿里云百炼)的模型服务,例如LLM、Embedding、Rerank服务。
接入LLM服务
接入私有部署的LLM服务
DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-70B。
-
进入模型中心,在DMS的模型部署详情页面,获取
模型名称(对应模型信息)、模型服务的URL(对应服务的调用地址)。 -
进入Dify空间的工作室页面,单击账号名称,选择设置。
-
在模型供应商页面,填写模型名称、API Key、服务器URL等相关信息后,单击保存。
服务器URL格式为:
http://172.17.XXX.XXX: XX/v1。
接入阿里云百炼大模型提供的LLM服务
使用阿里云百炼提供的LLM服务前,需要为Dify所使用的VPC开通公网访问权限。本操作以接入DeepSeek-R1为例。
-
进入工作空间,在左侧导航栏单击Dify
图标,再选择工作室。 -
在工作室页面,单击右上角的账号名称,选择设置。
-
在模型供应商页面,选择LLM模型类型,然后填写模型名称、API Key、服务器URL等相关信息后,单击保存。
-
模型名称:在阿里云百炼部署的模型的名称。
-
API Key:获取API Key。
-
服务器URL:填入阿里云百炼服务器地址,共享模型服务的URL为
https://dashscope.aliyuncs.com/compatible-mode/v1。
-
接入Embedding/Rerank模型
使用私有部署的Embedding/Rerank服务
DMS AI支持的Embedding和Rerank模型如下:
|
类型 |
模型名称 |
最大上下文长度 |
|
Embedding |
bge-m3 |
8192 |
|
bge-large-zh-v1.5 |
512 |
|
|
Rerank |
bge-reranker-v2-m3 |
8192 |
步骤一:在DMS AI插件中注册模型信息
-
进入Dify工作室页面,单击右上角的账号名称,选择设置。
-
在模型供应商页面,添加Text Embedding或Rerank类型的模型并配置参数信息,再单击保存。
说明您仅需要配置模型名称、服务提供商、API Key、服务器URL参数即可。
步骤二:在知识库配置页面选择该模型
-
进入Dify工作室页面。
-
在知识库页签下,选择创建知识库。
-
在知识库配置页面,选择待接入的模型。
使用AnalyticDB for PostgreSQL提供的Embedding/Rerank服务
步骤一:在DMS AI插件中注册模型信息
-
进入Dify工作室页面,单击右上角的账号名称,选择设置。
-
在模型供应商页面,添加Text Embedding或Rerank类型的模型并配置参数信息,再单击保存
说明-
您仅需要配置模型名称、服务提供商、Access Key、Secret Key、实例ID、地域ID、上下文长度参数即可。更多信息,请参见查看Access Key、Secret Key、Text Embedding参数填写说明和Rerank参数填写说明。
-
上下文长度的取值不能超过2048。
本示例中,模型名称填写
m3e-base,服务提供商选择AnalyticDB for PostgreSQL。 -
步骤二:在知识库配置页面使用模型
-
进入Dify工作室页面。
-
在知识库页签下,选择创建知识库。
-
在知识库配置页面,选择待接入的模型。