ChatGLM3系列大模型镜像是AC2推出的开箱即用容器部署服务。容器镜像包含了运行ChatGLM3系列大模型所需的所有依赖，包括Python运行环境、深度学习框架以及依赖库。确保ChatGLM3系列大模型能够高效、稳定地在不同环境下部署和服务。本系列镜像不包含大模型权重文件，需用户自行下载，或使用镜像提供的下载能力下载。ChatGLM3系列大模型镜像通过Web Demo的形式对外提供服务，也可以通过将本系列镜像作为基础镜像，定制不同形式的服务提供方式。
镜像列表
ChatGLM3系列大模型镜像分为「一键部署镜像」和「运行环境镜像」，具体区别如下：
运行环境镜像：仅包含运行该模型所需要的所有软件环境，包括系统组件以及Python依赖。
一键部署镜像：包含运行环境、启动脚本以及Web Demo脚本。
镜像类型 | 支持大模型 | CPU/GPU | 镜像地址 |
运行环境镜像 | ChatGLM3-6B | GPU | ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304 |
ChatGLM3-6B | CPU | ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:runtime-pytorch2.2.0.1-alinux3.2304 | |
一键部署镜像 | GPU | ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:6b-pytorch2.2.0.1-cuda12.1.1-alinux3.2304 | |
CPU | ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:6b-pytorch2.2.0.1-alinux3.2304 |
镜像内容
chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304
gradio: 3.41.0
sentencepiece: 0.1.99
safetensors: 0.4.0
accelerate: 0.26.1
transformers: 4.36.2
PyTorch: 2.2.0.1
CUDA：12.1.1
Python: 3.10.13
BaseOS: Alinux 3.2304
chatglm3:runtime-pytorch2.2.0.1-alinux3.2304
gradio: 3.41.0
sentencepiece: 0.1.99
safetensors: 0.4.0
accelerate: 0.26.1
transformers: 4.36.2
PyTorch: 2.2.0.1
Python: 3.10.13
BaseOS: Alinux 3.2304
chatglm3:6b-pytorch2.2.0.1-cuda12.1.1-alinux3.2304
组件继承chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304
chatglm3:6b-pytorch2.2.0.1-alinux3.2304
组件继承chatglm3:runtime-pytorch2.2.0.1-alinux3.2304
镜像运行要求
chatglm3:runtime-pytorch2.2.0.1-alinux3.2304以及chatglm3:6b-pytorch2.2.0.1-alinux3.2304为CPU镜像，对驱动无要求。
chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304以及chatglm3:6b-pytorch2.2.0.1-cuda12.1.1-alinux3.2304为GPU镜像，包含CUDA 12.1.1，需要nvidia-driver >= 530，兼容nvidia-driver R470和R525。
重要特性
部署镜像提供一键部署能力，内置运行脚本（脚本来源）。
更新记录
2024.07
发布chatglm3镜像运行环境镜像。
2024.08
发布chatglm3镜像一键部署镜像。