PolarSearch + Dify创建云上知识库

更新时间:
复制 MD 格式

Dify是一个开源的LLM应用开发平台,通过简洁的界面用户可以进行模型管理、搭建RAGAgent等,同时也提供了可观测功能。目前,PolarSearch向量数据库已实现与Dify( Define + Modify)的无缝集成,借助PolarSearch强大的弹性计算能力,系统能够智能匹配业务规模,为您提供按需扩展的高效检索服务,轻松应对不同场景下的海量数据处理需求。

适用范围

集群配置要求

  • 产品版本:企业版。

  • 系列:集群版。

  • 数据库引擎:MySQL 8.0.1、MySQL 8.0.2。

    说明

    以上数据库引擎版本要求均无小版本要求。更多信息,请参见查询版本号

  • Serverless集群不支持PolarSearch。更多信息,请参见Serverless

支持地域与可用区

PolarSearch支持的可用区如下:

地域

可用区

华东1(杭州)

可用区I、可用区J、可用区K

华东2(上海)

可用区E、可用区F、可用区L、可用区N

华南1(深圳)

可用区C、可用区D、可用区F

华北2(北京)

可用区F、可用区L、可用区I

中国(香港)

可用区B、可用区D

新加坡

可用区B

日本(东京)

可用区B、可用区C

德国(法兰克福)

可用区A

美国(硅谷)

可用区B

菲律宾

可用区A

说明

若您有其他可用区需求,请提交工单与我们联系。

操作步骤

创建PolarSearch集群

  1. 添加PolarSearch搜索节点并创建搜索节点管理员账号

    image

  2. 查看PolarSearch的连接信息以及Dashboard地址信息。

    image

获取Embedding模型服务

您可以使用阿里云大模型服务平台百炼或其他平台的Embedding模型服务。此处以阿里云百炼平台为例,获取账号下的API Keyimage

部署Dify

Dify支持云服务和自托管社区版两种使用方式。云服务默认使用Weaviate作为向量数据库,若需切换至PolarSearch,需使用Dify社区开源版并自行托管部署。

  1. 推荐采用Docker Compose进行快速部署,相关docker-compose.yaml文件可在Dify开源代码库中获取。

  2. 配置PolarSearch为向量数据库。

    1. 修改配置文件.env

      vim .env
    2. 将向量数据库设置为opensearch。

      说明

      PolarSearchPolarDB基于OpenSearch研发的高性能分布式数据检索与分析引擎。因此,在Dify的配置文件中需设置为opensearch。

      VECTOR_STORE=opensearch
    3. 填写PolarSearch的连接参数:

      #open search configuration, only available when VECToR_SToRE is `opensearch`
      OPENSEARCH_HOST=********public.polardbsearch.rds.aliyuncs.com
      OPENSEARCH_PORT=****
      OPENSEARCH_USER=*****
      OPENSEARCH_PASSWORD=*****
      OPENSEARCH_SECURE=false
  3. 执行启动命令。

    docker compose up -d

配置模型提供商

Dify目前已集成多家主流模型服务商。为确保后续服务可正常调用,您需要预先配置各模型提供商的API访问密钥。

示例

以下为千问API密钥信息获取方式。

  1. 登录Dify管理后台。

  2. 单击头像下拉框选择设置

  3. 工作空间页面选择模型提供商

  4. 模型列表中选择通义千问模型中单击设置

  5. 在配置页面输入您已获取的API应用密钥信息。

image

搭建云知识库

创建知识库并上传文档大致分为以下步骤:

  1. 在页面顶部导航栏选择知识库,并点击image创建知识库

  2. 文本导入及分段清洗。

    1. 导入文本数据。

      image

    2. 指定分段模式。

      image

    3. 指定索引方式。

      image

    4. 指定检索设置,单击保存并处理

      image

    5. 处理并完成,单击前往文档 ->

      image

  3. 返回PolarSearch中查看向量索引数据。

    1. 单击image.png中的Index Management然后单击Indexes,查看向量索引。

      image.png

      image.png

    2. 单击左上角image.png返回首页,然后单击Interact with the OpenSearch API进入API交互页面。

      image.png

    3. 查询向量索引数据是否写入成功

      image