使用AMD CPU部署AI容器镜像ChatGLM3-6B

本文以聊天机器人为例,介绍如何使用Alibaba Cloud AI Containers(简称AC2)提供的AI容器镜像在AMD CPU上部署ChatGLM3-6B语言模型。

背景信息

ChatGLM3是ChatGLM系列最新一代的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B引入了更强大的基础模型、更完整的功能支持和更全面的开源序列。更多信息,请参见ChatGLM3-6B的开源repo

重要
  • 阿里云不对第三方模型“ChatGLM-6B”的合法性、安全性、准确性进行任何保证,阿里云不对由此引发的任何损害承担责任。

  • ChatGLM-6B的代码依照Apache-2.0协议开源,ChatGLM-6B模型权重的使用遵循Model License。您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。

  • ChatGLM-6B模型权重对学术研究完全开放,免费商用请需填写商业授权申请。本文所示的模型下载仅作为演示,阿里云不对由此引发的任何损害承担责任。

步骤一:创建ECS实例

  1. 前往实例创建页

  2. 按照界面提示完成参数配置,创建一台ECS实例。

    需要注意的参数如下,其他参数的配置,请参见自定义购买实例

    • 实例:ChatGLM3-6B大概需要30 GiB内存,为了保证模型运行的稳定,实例规格至少需要选择ecs.g8a.4xlarge(64 GiB内存)。

    • 镜像:Alibaba Cloud Linux 3.2104 LTS 64位。

    • 公网IP:选中分配公网IPv4地址,带宽计费模式选择按使用流量,带宽峰值设置为100 Mbps。以加快模型下载速度。

      image

    • 数据盘:ChatGLM3-6B的运行需要下载多个模型文件,会占用大量存储空间,为了保证模型顺利运行,建议数据盘设置为100 GiB。

步骤二:创建Docker运行环境

  1. 安装Docker。

    在Alibaba Cloud Linux 3上安装Docker可以参考安装Docker并使用(Linux)

  2. 运行以下命令,确保Docker守护进程已经启用。

    sudo systemctl status docker
  3. 运行以下命令,创建并运行PyTorch AI容器。

    AC2提供了丰富的AI场景下的容器镜像,其中就包括针对AMD优化的PyTorch镜像,可以使用该镜像快速创建一个PyTorch运行环境。

    sudo docker pull ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-amd:1.13.1-3.2304-zendnn4.1
    sudo docker run -itd --name pytorch-amd --net host -v $HOME/workspace:/workspace \
      ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-amd:1.13.1-3.2304-zendnn4.1

步骤三:手动部署ChatGLM3-6B

  1. 运行以下命令,进入容器环境。

    sudo docker exec -it -w /workspace pytorch-amd /bin/bash

    后续命令需在容器环境中执行,如意外退出,请使用以上命令重新进入容器环境。您可以运行cat /proc/1/cgroup | grep docker命令查看当前环境是否为容器,如有回显信息则为容器环境。

  2. 运行以下命令,安装配置软件。

    yum install -y tmux git git-lfs wget
  3. 运行以下命令,启用Git LFS。

    下载预训练模型需要Git LFS的支持。

    git lfs install
  4. 下载源码与模型。

    1. 运行以下命令,创建一个tmux session。

      tmux
      说明

      下载预训练模型耗时较长,且成功率受网络情况影响较大,建议在tmux session中下载,以免ECS断开连接导致下载模型中断。

    2. 运行以下命令,下载ChatGLM3-6B项目源码,以及预训练模型。

      git clone https://github.com/THUDM/ChatGLM3.git
      git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git --depth=1
    3. 运行以下命令,查看当前目录。

      ls -l

      下载完成后,当前目录显示如下。

      image

  5. 运行以下命令,部署运行环境。

    AC2容器中,集成了众多的Python AI依赖组件,可以直接使用yumdnf安装Python运行依赖。

    yum install -y python3-{transformers,sentencepiece,protobuf,accelerate}
  6. 运行AI对话。

    1. 运行以下命令,修改模型加载参数。

      在项目源码中提供了终端示例脚本,可以运行ChatGLM3-6B模型实现本地聊天机器人。在运行脚本之前,需要修改模型加载参数,使用BF16精度加载,以利用CPU的AVX-512指令集进行加速。

      cd /workspace/ChatGLM3/basic_demo
      grep "import torch" cli_demo.py 2>&1 >/dev/null || sed -i "3i\import torch" cli_demo.py
      sed -i 's/"auto")/"auto", torch_dtype=torch.bfloat16)/g' cli_demo.py
    2. 运行以下命令,启动聊天机器人。

      export MODEL_PATH="/workspace/chatglm3-6b"
      python3 cli_demo.py

      部署完成后可以通过在用户:提示符处输入对话内容,就可以与ChatGLM3-6B大模型进行实时对话。

      image.png

      说明

      您可以运行stop命令退出聊天机器人。