企业知识库存储服务连接切换

更新时间:

通义灵码的企业知识库支持对接用户自有存储服务以满足用户对知识库数据安全性和敏感性的要求,本文将介绍切换企业自有存储服务的方法。

适用版本

企业专属版

背景信息

通义灵码管理员、组织内全局管理员(专属版),可以在通义灵码控制台的知识库配置中,将知识库存储服务从通义灵码内置存储服务切换为企业自有存储服务。

前提条件

  • 网络要求:

    • 若您的自有存储服务支持公网访问,通义灵码企业专属版可以直接与您的存储服务建立连接。为了进一步提升数据的安全性,您可以配置IP白名单来控制访问权限。若未配置请参考公网访问配置

    • 若您的自有存储服务不支持公网访问,则通义灵码企业专属版与您的自有存储服务之间需要配置专有网络才能访问,并需要开启反向访问以支撑通义灵码企业专属版获取自有存储服务内的资源。若未配置请参考专网访问配置开启反向访问

  • 自有存储服务准备:

    • 对象存储:参考阿里云 OSS 指南

      适配产品

      阿里云对象存储(OSS)、 Amazon S3、腾讯云 COS、华为云 OBS、开源 MinIO

      权限要求

      授权账号需要具备以下权限:

      • 列举Bucket内的对象 (List):允许用户列出存储桶中的所有对象。

      • 读取对象内容 (Read):允许用户读取存储桶中的对象内容。

      • 上传新对象 (Put):允许用户上传新对象到存储桶中。

      • 删除对象 (Delete):允许用户删除存储桶中的对象。

      存储类型

      normal(非冷归档)

      版本

      均可兼容

      存储容量

      10GB以上存储容量(后可根据实际使用情况进行扩容)

    • 向量数据库:参考阿里云 Elastic Search 配置指南

      适配产品

      Elastic Search 企业版、Elastic Search 开源版

      版本

      版本 8.9+

      权限要求

      授权账号需要具备以下权限:

      • 创建索引 (create_index):允许用户创建新的索引。如果创建索引请求中包含添加到索引的别名,则需要同时授予 manage 权限。

      • 写入文档 (write,create_doc):允许用户对文档执行所有写操作,包括索引、更新、删除、批量操作和更新映射。

      • 读取文档 (read):允许用户执行只读操作,包括 countexplaingetmgetscriptssearchscroll 等。

      • 删除文档 (delete):允许用户删除索引中的文档。

      • 可读取 create_index, read, delete, index:确保用户可以执行这些具体操作。

      CPU 规格要求

      48GB以上(推荐至少816GB)

      存储容量

      300GB以上存储容量(后可根据实际使用情况进行扩容)

      配置实例访问白名单(可选)

      访问阿里云Elasticsearch(ES)实例时,推荐您将待访问设备的IP地址加入ES实例的访问白名单中, 请提交工单询问通义灵码实例的出口IP地址。

场景介绍

在企业知识库中,存储类型有对象存储与向量数据库两种,前者用于存储上传的文件(文档或代码包),后者用于存放文件切片并向量化后的数据。

通义灵码支持知识库存储服务迁移,包含对象存储和向量数据库,最大程度保障知识库数据安全和隐私。下图为知识库存储服务迁移和迁移后的使用全链路概览:高的

  1. 前置链路中通义灵码管理员或企业管理员在阿里云控制台的企业管理页面中完成公网或专网的访问配置,并在通义灵码控制台进行存储服务迁移配置。

  2. 在使用链路中,通义灵码管理员上传知识库数据文件后,由于存储服务迁移配置已生效,文件将保存到配置的自有对象存储服务中,向量数据将保存到配置的自有向量数据库中。

操作流程

  1. 登录阿里云控制台,按需选择通义灵码企业专属版的网络访问配置。

    公网访问

    如果您的自有存储服务支持公网访问,可以参考公网访问配置,完成通义灵码企业专属版公网访问配置。您还可以通过配置IP白名单来控制访问权限,以进一步增强数据安全性。

    专网访问

    如果您的自有存储服务不支持公网访问,则通义灵码企业专属版与您的自有存储服务之间需要配置专有网络才能访问,并需要开启反向访问以支撑通义灵码企业专属版获取自有存储服务内的资源。进行专网访问与反向访问配置,参考专网访问配置开启反向访问

  2. 登录通义灵码企业控制台,在知识管理页面单击知识库配置莫小@1x

  3. 在知识库配置中进行存储服务连接切换配置,包含对象存储和向量数据库连接配置。输入对应数据后可点击检查连接进行连接测试。如确认连接无误可点击保存配置,当展示迁移已完成提示即表明配置成功。莫小@1x

    重要

    保存配置后将立即生效,通义灵码提供的知识库内容将会被清空,此时通义灵码企业管理控制台中的知识库将恢复至初始状态,即为空。

    一旦应用存储服务切换生效后,此操作在企业管理控制台中不可逆。如希望切换回通义灵码内置存储服务,需提交工单进行处理。

  4. 当服务切换配置生效后,在知识库中上传数据,通义灵码将上传知识数据到管理员配置的对象存储服务中。莫小@1x高的 (7)

常见问题

使用自有存储服务之后,如果发生无法上传知识库文件的问题,可能是自有存储服务连接异常,请在知识库配置页面中检查存储配置的连接是否仍然可用。