ChatGLM3镜像ReleaseNotes

ChatGLM3系列大模型镜像是AC2推出的开箱即用容器部署服务。容器镜像包含了运行ChatGLM3系列大模型所需的所有依赖,包括Python运行环境、深度学习框架以及依赖库。确保ChatGLM3系列大模型能够高效、稳定地在不同环境下部署和服务。本系列镜像不包含大模型权重文件,需用户自行下载,或使用镜像提供的下载能力下载。ChatGLM3系列大模型镜像通过Web Demo的形式对外提供服务,也可以通过将本系列镜像作为基础镜像,定制不同形式的服务提供方式。

镜像列表

ChatGLM3系列大模型镜像分为「一键部署镜像」和「运行环境镜像」,具体区别如下:

  • 运行环境镜像:仅包含运行该模型所需要的所有软件环境,包括系统组件以及Python依赖。

  • 一键部署镜像:包含运行环境、启动脚本以及Web Demo脚本。

镜像类型

支持大模型

CPU/GPU

镜像地址

运行环境镜像

ChatGLM3-6B

GPU

ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304

ChatGLM3-6B

CPU

ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:runtime-pytorch2.2.0.1-alinux3.2304

一键部署镜像

ChatGLM3-6B

GPU

ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:6b-pytorch2.2.0.1-cuda12.1.1-alinux3.2304

CPU

ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/chatglm3:6b-pytorch2.2.0.1-alinux3.2304

镜像内容

  • chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304

    • gradio: 3.41.0

    • sentencepiece: 0.1.99

    • safetensors: 0.4.0

    • accelerate: 0.26.1

    • transformers: 4.36.2

    • PyTorch: 2.2.0.1

    • CUDA:12.1.1

    • Python: 3.10.13

    • BaseOS: Alinux 3.2304

  • chatglm3:runtime-pytorch2.2.0.1-alinux3.2304

    • gradio: 3.41.0

    • sentencepiece: 0.1.99

    • safetensors: 0.4.0

    • accelerate: 0.26.1

    • transformers: 4.36.2

    • PyTorch: 2.2.0.1

    • Python: 3.10.13

    • BaseOS: Alinux 3.2304

  • chatglm3:6b-pytorch2.2.0.1-cuda12.1.1-alinux3.2304

    组件继承chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304

  • chatglm3:6b-pytorch2.2.0.1-alinux3.2304

    组件继承chatglm3:runtime-pytorch2.2.0.1-alinux3.2304

镜像运行要求

  • chatglm3:runtime-pytorch2.2.0.1-alinux3.2304以及chatglm3:6b-pytorch2.2.0.1-alinux3.2304为CPU镜像,对驱动无要求。

  • chatglm3:runtime-pytorch2.2.0.1-cuda12.1.1-alinux3.2304以及chatglm3:6b-pytorch2.2.0.1-cuda12.1.1-alinux3.2304为GPU镜像,包含CUDA 12.1.1,需要nvidia-driver >= 530,兼容nvidia-driver R470和R525。

重要特性

部署镜像提供一键部署能力,内置运行脚本(脚本来源)。

更新记录

  • 2024.07

    发布chatglm3镜像运行环境镜像。

  • 2024.08

    发布chatglm3镜像一键部署镜像。