在您完成部署Dify、部署私有模型操作后,可以通过DMS在模型供应商页面提供的DMS AI插件接入部署(私有或阿里云百炼)的模型服务,例如LLM、Embedding、Rerank服务。
接入LLM服务
接入私有部署的LLM服务
目前支持接入的模型如下:
DeepSeek-R1-Distill-Qwen-1.5B
、DeepSeek-R1-Distill-Qwen-7B
、DeepSeek-R1-Distill-Qwen-14B
、DeepSeek-R1-Distill-Qwen-32B
、DeepSeek-R1-Distill-Llama-70B
。
进入模型中心,在DMS的模型部署详情页面,获取
模型名称
(对应模型信息)、模型服务的URL
(对应服务的调用地址)。进入Dify空间的工作室页面,单击账号名称,选择设置。
在模型供应商页面,填写模型名称、API Key、服务器URL等相关信息后,单击保存。
服务器URL格式为:
http://172.17.XXX.XXX: XX/V1
。
接入阿里云百炼大模型提供的LLM服务
使用阿里云百炼提供的LLM服务前,需要为Dify所使用的VPC开通公网访问权限。本操作以接入DeepSeek-R1
为例。
进入工作空间,在左侧导航栏单击Dify
图标,再选择工作室。
在工作室页面,单击右上角的账号名称,选择设置。
在模型供应商页面,选择LLM模型类型,然后填写模型名称、API Key、服务器URL等相关信息后,单击保存。
模型名称:在阿里云百炼部署的模型的名称。
API Key:获取API Key。
服务器URL:填入阿里云百炼服务器地址,共享模型服务的URL为
https://dashscope.aliyuncs.com/compatible-mode/v1
。
接入Embedding/Rerank模型
使用私有部署的Embedding/Rerank服务
DMS AI支持的Embedding和Rerank模型如下:
类型 | 模型名称 | 最大上下文长度 |
Embedding | bge-m3 | 8192 |
bge-large-zh-v1.5 | 512 | |
Rerank | bge-reranker-v2-m3 | 8192 |
步骤一:在DMS AI插件中注册模型信息
进入Dify工作室页面,单击右上角的账号名称,选择设置。
在模型供应商页面,添加Text Embedding或Rerank类型的模型并配置参数信息,再单击保存。
说明您仅需要配置模型名称、服务提供商、API Key、服务器URL参数即可。
步骤二:在知识库配置页面选择该模型
进入Dify工作室页面。
在知识库页签下,选择创建知识库。
在知识库配置页面,选择待接入的模型。
使用AnalyticDB for PostgreSQL提供的Embedding/Rerank服务
步骤一:在DMS AI插件中注册模型信息
进入Dify工作室页面,单击右上角的账号名称,选择设置。
在模型供应商页面,添加Text Embedding或Rerank类型的模型并配置参数信息,再单击保存
说明您仅需要配置模型名称、服务提供商、Access Key、Secret Key、实例ID、地域ID、上下文长度参数即可。更多信息,请参见查看Access Key、Secret Key、Text Embedding参数填写说明和Rerank参数填写说明。
上下文长度的取值不能超过2048。
步骤二:在知识库配置页面使用模型
进入Dify工作室页面。
在知识库页签下,选择创建知识库。
在知识库配置页面,选择待接入的模型。