使用私有或外部模型

适用场景

• 使用部署在您专有网络内的 Embedding 模型作为知识库的向量化模型。

• 让知识库的数据向量化与检索使用您自己部署的模型服务地址。

• 让知识库访问公网上的模型服务地址。

使用限制

• 当前仅支持接入 OpenAI 兼容协议的模型服务。

• 创建知识库时只能绑定模型类型为 embedding 的模型。接入时选择 Chat 的模型不会出现在创建知识库的向量模型列表中。

• 接入的模型仅在当前阿里云账号内可见。

• 知识库的向量模型在创建后不可更改，请先完成模型接入再创建知识库。

准备信息

接入模型前，请先准备以下信息。

步骤一：接入模型

1. 登录向量检索服务 Milvus 版控制台，在顶部地域下拉框中切换到目标地域，然后在左侧导航栏单击知识库服务。

2. 在知识库列表右上角单击更多图标，然后单击私有/外部模型。

   说明

   该入口不在左侧导航栏，也不在知识库创建页与详情页，仅在知识库列表页右上角的更多图标下。

3. 在私有/外部模型接入管理面板中单击接入模型。

4. 填写模型信息，然后单击确定。

   • 接入类型：选择 OpenAI compatible。

   • Endpoint：填写模型服务地址。

   • 模型名称：填写实际调用的模型名称。

   • 模型类型：选择 Embedding。

   • API Key：填写模型服务的鉴权密钥。

   • 专有网络 ID、可用区、交换机 ID、安全组 ID：填写模型服务可被访问的网络配置。

   重要

   必须先选择专有网络 ID，可用区、交换机 ID 与安全组 ID 才可选择，否则三项均显示请先选择 VPC。

5. 接入完成后，在自定义模型列表中确认该模型的状态为可用。

步骤二：创建知识库并绑定模型

1. 在知识库列表页单击创建知识库。

2. 填写名称，并选择数据类型。

3. 在向量模型处切换到私有/外部模型，然后在下拉列表中选择步骤一接入的模型。

   说明

   下拉列表仅展示模型类型为 embedding 的模型。选择私有/外部模型后，向量维度显示为 - 且不可编辑，不影响创建。

4. 选择规格配置与网络配置，然后单击创建知识库。

5. 等待知识库状态由创建中变为运行中。

创建成功后，该知识库的数据向量化与检索均通过绑定的模型完成，系统会自动下发访问该模型服务所需的网络配置。

步骤三：验证模型是否生效

向知识库导入数据并检索，可验证绑定的模型是否正常工作。

1. 导入一份数据，导入方式请参见搭建个人知识问答应用。

2. 在知识库详情页确认数据数量与切片数量均已增加。切片数量大于 0 表示数据已完成解析与向量化，即模型调用成功。

3. 在检索验证页签或通过 SearchKnowledgeBase 发起一次查询，确认能返回预期切片。检索时的查询向量化同样由该模型完成。

常见问题

模型接入成功，但知识库数据解析失败或切片数量为 0，如何排查？

模型在接入管理列表中显示可用，只表示配置已保存，不代表链路已连通。请按以下顺序排查：

1. 在与模型相同的网络环境内，用同一 Endpoint 与 API Key 手动发起一次 Embedding 调用，确认模型服务本身可用。

2. 确认 Endpoint 可达，且模型服务兼容 OpenAI 的 Embedding 接口协议。

3. 确认 API Key 有效且未过期。

4. 确认安全组已放行知识库服务对模型服务的访问。

5. 确认可用区与交换机 ID 选择正确，交换机需属于所选可用区。

6. 若调用公网模型服务，确认所选专有网络具备公网访问能力。

为什么创建知识库时看不到已接入的模型？

请确认该模型的模型类型为 embedding。向量模型下拉列表会自动过滤掉 chat 类型的模型。模型类型在接入后不可修改，需重新接入一个 embedding 类型的模型。

已创建的知识库能否更换向量模型？

不能。向量模型在创建知识库时确定且不可更改，需更换时请新建知识库并重新导入数据。

注意事项

• API Key 属于敏感信息，请勿写入工单、日志或对外文档。

• 接入的模型仅在当前阿里云账号内可见，不会跨账号共享。

• 模型服务的调用费用由模型服务提供方计收，不包含在知识库费用中。