PolarSearch + Dify创建云上知识库

Dify是一个开源的LLM应用开发平台,通过简洁的界面用户可以进行模型管理、搭建RAGAgent等,同时也提供了可观测功能。目前,PolarSearch向量数据库已实现与Dify( Define + Modify)的无缝集成,借助PolarSearch强大的弹性计算能力,系统能够智能匹配业务规模,为您提供按需扩展的高效检索服务,轻松应对不同场景下的海量数据处理需求。

前提条件

集群配置要求

  • 产品版本:企业版。

  • 数据库引擎:MySQL 8.0.1、MySQL 8.0.2。

    说明
    • 以上数据库引擎版本要求均无小版本要求。

    • 更多信息,请参见查询版本号

  • 系列:集群版。

  • Serverless集群不支持PolarSearch。更多信息,请参见Serverless

  • GDN集群不支持PolarSearch。更多信息,请参见全球数据库(GDN)

操作步骤

创建PolarSearch集群

  1. 开启PolarSearch功能并创建搜索节点管理员账号

    image

  2. 查看PolarSearch的连接信息以及Dashboard地址信息。

    image

获取Embedding模型服务

您可以使用阿里云大模型服务平台百炼或其他平台的Embedding模型服务。此处以阿里云百炼平台为例,获取账号下的API Key

image.png

部署Dify

Dify支持云服务和自托管社区版两种使用方式。云服务默认使用Weaviate作为向量数据库,若需切换至PolarSearch,需使用Dify社区开源版并自行托管部署。

  1. 推荐采用Docker Compose进行快速部署,相关docker-compose.yaml文件可在Dify开源代码库中获取。

  2. 配置PolarSearch为向量数据库。

    1. 修改配置文件.env

      vim .env
    2. 将向量数据库设置为opensearch。

      说明

      PolarSearchPolarDB基于OpenSearch研发的高性能分布式数据检索与分析引擎。因此,在Dify的配置文件中需设置为opensearch。

      VECTOR_STORE=opensearch
    3. 填写PolarSearch的连接参数:

      #open search configuration, only available when VECToR_SToRE is `opensearch`
      OPENSEARCH_HOST=********public.polardbsearch.rds.aliyuncs.com
      OPENSEARCH_PORT=****
      OPENSEARCH_USER=*****
      OPENSEARCH_PASSWORD=*****
      OPENSEARCH_SECURE=false
  3. 执行启动命令。

    docker compose up -d

配置模型提供商

Dify目前已集成多家主流模型服务商。为确保后续服务可正常调用,您需要预先配置各模型提供商的API访问密钥。

示例

以下为通义千问API密钥信息获取方式。

  1. 登录Dify管理后台。

  2. 单击头像下拉框选择设置

  3. 工作空间页面选择模型提供商

  4. 模型列表中选择通义千问模型中单击设置

  5. 在配置页面输入您已获取的API应用密钥信息。

image

搭建云知识库

创建知识库并上传文档大致分为以下步骤:

  1. 在页面顶部导航栏选择知识库,并点击image创建知识库

  2. 文本导入及分段清洗。

    1. 导入文本数据。

      image

    2. 指定分段模式。

      image

    3. 指定索引方式。

      image

    4. 指定检索设置,单击保存并处理

      image

    5. 处理并完成,单击前往文档 ->

      image

  3. 返回PolarSearch中查看向量索引数据。

    1. 单击image.png中的Index Management然后单击Indexes,查看向量索引。

      image.png

      image.png

    2. 单击左上角image.png返回首页,然后单击Interact with the OpenSearch API进入API交互页面。

      image.png

    3. 查询向量索引数据是否写入成功

      image