文档

LLM+ADB快速构建企业专属Chatbot

ChatGPT的火爆带动AIGC行业近期非常火热,客户对于智能客服、构建企业知识库用于智能问答、写作助手等相关需求非常旺盛;随着ChatGPT推出Retrieval plugin的方案,向量数据库(企业知识库)+ 大语言模型可以快速帮助企业构建专属的chatbot;本服务是对文章《云原生数据仓库AnalyticDB(ADB)+LLM:构建AIGC时代下企业专属Chatbot》的一个开源实现部署。

服务介绍

向量数据库(企业知识库)+ 大语言模型基于ChatGLM-6B,是由清华大学团队开发的是一个开源的、支持中英双语的对话语言模型,基于General Language Model(GLM)架构,具有62亿参数。本文介绍如何通过计算巢快速完成从0到1部署,在30分钟内可以快速构建企业专属聊天机器人(已经支持ChatGLM2-6B模型)。39.png

部署该服务分为直接部署一站式企业专属Chatbot服务实例或部署代运维服务实例。

  • 一站式企业专属Chatbot:通过对Langchain+ChatGLM2-6B(开源大模型)+AnalyticDB for PostgreSQL的部署,一键搭建企业专属知识库+Chatbot应用(依赖资源: ECS + AnalyticDB for PostgreSQL)。1.png

  • 代运维服务:如果部署遇到问题,可通过代运维服务授权运维人员使用大模型服务(免费)。2.png

部署一站式企业专属Chatbot

创建流程

  1. 单击部署链接

  2. 在配置界面中,填写服务实例名称、选择地域、配置GPU服务的规格、设置登录密码及访问白名单、设置ADBPG的实例规格和存储及数据库密码。然后单击下一步:确认订单3.png

  3. 在确认订单页面,确认基础配置和账单信息,然后单击立即创建4.png

  4. 单击去列表查看,查看服务实例状态。

    服务实例创建时间约为20分钟。5.png

管理资源(可选)

  1. 在服务实例详情页,查看服务实例部署进度,等待服务实例创建完成。整个创建流程约20分钟。

    创建过程中包括拉起ECS资源用以部署Retrieval服务,预部署开源大语言模型,拉起ADB-PG实例用以构建企业专属知识库,联通VPC网络,设置安全组等资源并对外提供服务。6.png

  2. 部署完成后,可通过Endpoint的地址访问软件。7.png

  3. 在资源页签中,可查看关联的安全组、AnalyticDB for PostgreSQL实例、VPC、VSW和vSwitch服务器信息。8.png

  4. 若创建服务实例时,填写的白名单地址不正确,则可点击安全组ID查看。9.png

    单击编辑,可修改访问的地址范围或入群进行支持。更多信息,请参见图说安全组10.png

开始使用企业专属ChatBot

  1. 登录计算巢控制台后,在左侧导航栏中,选择服务目录 > 我的服务,然后单击我使用的服务

  2. 找到创建服务实例的服务,单击查看实例所有保有的实例。

  3. 在概览页点击EndPoint所指向的服务登录Chatbot首页。

    说明

    若发现无法访问,检查是否开通了VPN,关闭VPN。

    11.png

  4. 登录后,在配置知识库处,选择新建知识库12.png

  5. 选择知识库名称DEMO,单击红框位置,上传文件。13.png

  6. 单击红色框位置上传并加载。14.png

  7. 完成文件上传后,即可开始向知识库进行提问。15.png

代运维服务(可选)

代运维服务是在遇到问题的时候授权服务商进行运维操作。

  1. 单击部署链接,进入服务实例部署界面,根据界面提示配置参数。16.png17.png

  2. 单击创建

    创建完成后即可完成对后台运维服务进行授权操作。

常见问题

  1. 登录ADBPG实例。18.png19.png

  2. 输入创建服务的用户名和密码。

    20.png

  3. 可查询已有知识库和文档向量。

    21.png22.png

  • 本页导读 (0)
文档反馈