PolarSearch + Dify创建云上知识库

Dify是一个开源的LLM应用开发平台,通过简洁的界面用户可以进行模型管理、搭建RAGAgent等,同时也提供了可观测功能。目前,PolarSearch向量数据库已实现与Dify( Define + Modify)的无缝集成,借助PolarSearch强大的弹性计算能力,系统能够智能匹配业务规模,为您提供按需扩展的高效检索服务,轻松应对不同场景下的海量数据处理需求。

适用范围

集群配置要求

  • 产品版本:企业版。

  • 数据库引擎:MySQL 8.0.1、MySQL 8.0.2。

    说明
    • 以上数据库引擎版本要求均无小版本要求。

    • 更多信息,请参见查询版本号

  • 系列:集群版。

  • Serverless集群不支持PolarSearch。更多信息,请参见Serverless

支持地域与可用区

PolarSearch支持的可用区如下:

地域

可用区

华东1(杭州)

可用区K

华东2(上海)

可用区E、可用区L、可用区N

华南1(深圳)

可用区C、可用区D

华北1(青岛)

可用区C

华北2(北京)

可用区K

华北3(张家口)

可用区B

日本(东京)

可用区A、可用区C

墨西哥

可用区A

操作步骤

创建PolarSearch集群

  1. 添加PolarSearch搜索节点并创建搜索节点管理员账号

    image

  2. 查看PolarSearch的连接信息以及Dashboard地址信息。

    image

获取Embedding模型服务

您可以使用阿里云大模型服务平台百炼或其他平台的Embedding模型服务。此处以阿里云百炼平台为例,获取账号下的API Keyimage

部署Dify

Dify支持云服务和自托管社区版两种使用方式。云服务默认使用Weaviate作为向量数据库,若需切换至PolarSearch,需使用Dify社区开源版并自行托管部署。

  1. 推荐采用Docker Compose进行快速部署,相关docker-compose.yaml文件可在Dify开源代码库中获取。

  2. 配置PolarSearch为向量数据库。

    1. 修改配置文件.env

      vim .env
    2. 将向量数据库设置为opensearch。

      说明

      PolarSearchPolarDB基于OpenSearch研发的高性能分布式数据检索与分析引擎。因此,在Dify的配置文件中需设置为opensearch。

      VECTOR_STORE=opensearch
    3. 填写PolarSearch的连接参数:

      #open search configuration, only available when VECToR_SToRE is `opensearch`
      OPENSEARCH_HOST=********public.polardbsearch.rds.aliyuncs.com
      OPENSEARCH_PORT=****
      OPENSEARCH_USER=*****
      OPENSEARCH_PASSWORD=*****
      OPENSEARCH_SECURE=false
  3. 执行启动命令。

    docker compose up -d

配置模型提供商

Dify目前已集成多家主流模型服务商。为确保后续服务可正常调用,您需要预先配置各模型提供商的API访问密钥。

示例

以下为通义千问API密钥信息获取方式。

  1. 登录Dify管理后台。

  2. 单击头像下拉框选择设置

  3. 工作空间页面选择模型提供商

  4. 模型列表中选择通义千问模型中单击设置

  5. 在配置页面输入您已获取的API应用密钥信息。

image

搭建云知识库

创建知识库并上传文档大致分为以下步骤:

  1. 在页面顶部导航栏选择知识库,并点击image创建知识库

  2. 文本导入及分段清洗。

    1. 导入文本数据。

      image

    2. 指定分段模式。

      image

    3. 指定索引方式。

      image

    4. 指定检索设置,单击保存并处理

      image

    5. 处理并完成,单击前往文档 ->

      image

  3. 返回PolarSearch中查看向量索引数据。

    1. 单击image.png中的Index Management然后单击Indexes,查看向量索引。

      image.png

      image.png

    2. 单击左上角image.png返回首页,然后单击Interact with the OpenSearch API进入API交互页面。

      image.png

    3. 查询向量索引数据是否写入成功

      image