ChatGPT的火爆带动AIGC行业近期非常火热,客户对于智能客服、构建企业知识库用于智能问答、写作助手等相关需求非常旺盛;随着ChatGPT推出Retrieval plugin的方案,向量数据库(企业知识库)+ 大语言模型可以快速帮助企业构建专属的chatbot;本服务是对文章《云原生数据仓库AnalyticDB(ADB)+LLM:构建AIGC时代下企业专属Chatbot》的一个开源实现部署。
服务介绍
向量数据库(企业知识库)+ 大语言模型基于ChatGLM-6B,是由清华大学团队开发的是一个开源的、支持中英双语的对话语言模型,基于General Language Model(GLM)架构,具有62亿参数。本文介绍如何通过计算巢快速完成从0到1部署,在30分钟内可以快速构建企业专属聊天机器人(已经支持ChatGLM2-6B模型)。
部署该服务分为直接部署一站式企业专属Chatbot服务实例或部署代运维服务实例。
一站式企业专属Chatbot:通过对Langchain+ChatGLM2-6B(开源大模型)+AnalyticDB for PostgreSQL的部署,一键搭建企业专属知识库+Chatbot应用(依赖资源: ECS + AnalyticDB for PostgreSQL)。
代运维服务:如果部署遇到问题,可通过代运维服务授权运维人员使用大模型服务(免费)。
部署一站式企业专属Chatbot
创建流程
单击部署链接。
在配置界面中,填写服务实例名称、选择地域、配置GPU服务的规格、设置登录密码及访问白名单、设置ADBPG的实例规格和存储及数据库密码。然后单击下一步:确认订单。
在确认订单页面,确认基础配置和账单信息,然后单击立即创建。
单击去列表查看,查看服务实例状态。
服务实例创建时间约为20分钟。
管理资源(可选)
在服务实例详情页,查看服务实例部署进度,等待服务实例创建完成。整个创建流程约20分钟。
创建过程中包括拉起ECS资源用以部署Retrieval服务,预部署开源大语言模型,拉起ADB-PG实例用以构建企业专属知识库,联通VPC网络,设置安全组等资源并对外提供服务。
部署完成后,可通过Endpoint的地址访问软件。
在资源页签中,可查看关联的安全组、AnalyticDB for PostgreSQL实例、VPC、VSW和vSwitch服务器信息。
若创建服务实例时,填写的白名单地址不正确,则可点击安全组ID查看。
单击编辑,可修改访问的地址范围或入群进行支持。更多信息,请参见图说安全组。
开始使用企业专属ChatBot
登录计算巢控制台后,在左侧导航栏中,选择
,然后单击我使用的服务。找到创建服务实例的服务,单击查看实例所有保有的实例。
在概览页点击EndPoint所指向的服务登录Chatbot首页。
说明若发现无法访问,检查是否开通了VPN,关闭VPN。
登录后,在配置知识库处,选择新建知识库。
选择知识库名称DEMO,单击红框位置,上传文件。
单击红色框位置上传并加载。
完成文件上传后,即可开始向知识库进行提问。
代运维服务(可选)
代运维服务是在遇到问题的时候授权服务商进行运维操作。
单击部署链接,进入服务实例部署界面,根据界面提示配置参数。
单击创建。
创建完成后即可完成对后台运维服务进行授权操作。
常见问题
登录ADBPG实例。
输入创建服务的用户名和密码。
可查询已有知识库和文档向量。