在GPU实例上基于ChatGLM-6B语言模型搭建AI对话机器人

本文介绍如何使用阿里云GPU云服务器，基于ChatGLM-6B语言模型快速搭建AI对话机器人。

背景信息

ChatGLM是一个开源的预训练语言模型，由清华大学和智谱AI联合开发。它采用了GLM（General Language Model）架构，这是一种基于Transformer的语言模型架构，是一个支持中英双语问答的对话语言模型，专门针对中文进行了优化。

而ChatGLM-6B是ChatGLM系列中的一个版本，具有60亿参数。它使用了和ChatGPT相似的技术，经过约1 TB标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，能够生成符合人类偏好的回答。

image..png

重要

说明

您可以通过一键部署快速完成以下操作。

前往实例创建页。
按照界面提示完成参数配置，创建一台ECS实例。
需要注意的参数如下，其他参数的配置，请参见自定义购买实例。
- 实例：选择实例规格为ecs.gn7i-c16g1.4xlarge。
- 镜像：本文使用已部署好推理所需环境的云市场镜像，名称为ai-inference-solution。
- 公网IP：选中分配公网IPv4地址，带宽计费模式选择按使用流量，带宽峰值设置为100 Mbps。
添加安全组规则。
在ECS实例安全组的入方向添加安全组规则并放行50001端口。具体操作，请参见添加安全组规则。
创建完成后，在ECS实例页面，获取公网IP地址。
说明
公网IP地址用于生成图片测试时访问WebUI服务。

使用root用户远程连接ECS实例。
该市场镜像中，运行环境及模型都安装在/root目录下，连接实例时需使用root用户。具体操作，请参见使用Workbench工具以SSH协议登录Linux实例。
为了确保长时间运行的命令不会因会话中断而终止，可以使用screen工具来保持会话在后台运行。
1. 安装screen。
  如果您还没有安装screen，可以通过以下命令进行安装。
```
sudo apt-get update
sudo apt-get install screen
```
2. 启动一个新的screen会话。
```
screen -S chatglm-session
```
  这将启动一个新的名为chatglm-session的screen会话。
在screen会话中，执行如下命令，下载ChatGLM-6B模型。
```
cd /root/chatglm
git clone https://www.modelscope.cn/ZhipuAI/ChatGLM-6B.git chatglm-6b
git -C chatglm-6b checkout v1.0.16
sed -i '33c from .configuration_chatglm import ChatGLMConfig' chatglm-6b/modeling_chatglm.py
```
您可以通过按下Ctrl+A然后按D键来分离当前会话，这样即使关闭终端，任务也会继续在后台运行。
如果您想查看任务的状态或继续工作，可以使用以下命令重新连接到screen会话。
```
screen -r chatglm-session
```
模型下载大约需要35分钟，回显信息如下图所示时，表示模型已下载完成。

启动服务。

执行如下命令，开启WebUI服务。

cd /root/chatglm/ChatGLM-6B
export STREAMLIT_SERVER_HEADLESS=1
streamlit run web_demo2.py --server.port 50001 &

当出现如下回显的时候，表示启动成功。

image..png

image..png