使用EAIS实例部署ChatGLM2-6B

背景信息

ChatGLM2-6B是一个开源对话语言模型，您可以使用EAIS实例来部署ChatGLM2-6B，也可以直接在GPU实例上部署。在ECS实例上绑定EAIS实例来部署ChatGLM2-6B的方式，相比直接购买GPU实例部署，可以从如下方面节省成本。更多EAIS实例优势，请参见低成本。

• 节省部署成本：

  在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的成本用于部署环境。

• 节省使用成本：

  • GPU资源灵活挂载：当您部署好ChatGLM2-6B后，如果您暂时不需要执行ChatGLM2-6B任务，您可以前往EAIS控制台解绑并释放EAIS实例。然后在您需要执行任务时，再重新创建并绑定EAIS实例，此时，您在ECS实例上部署的环境没有任何影响。因此，您只需要长期拥有一台相比GPU实例更便宜的ECS实例，然后在需要使用GPU时挂载一台EAIS实例，该方式可以节省更多成本。

    说明

    使用EAIS控制台和调用CreateEaisEi创建的EAIS实例，还可以通过停止或启动EAIS实例来灵活地为ECS实例提供GPU能力。只有启动EAIS实例时才会计费，停止EAIS实例即可结束计费，因此，还可以节省更多成本。

  • 单价便宜：对比计费单价，使用EAIS实例比相同算力的GPU实例更加便宜。

计费说明

在部署和使用ChatGLM2-6B的过程中，涉及的计费内容如下：

• ECS实例需要计费，更多信息，请参见计费概述。

• EAIS实例需要计费，更多信息，请参见产品计费。

环境说明

本教程将以如下EAIS实例与ECS实例为例，为您介绍使用EAIS实例部署ChatGLM2-6B。

• ECS实例：

  • 实例规格：ecs.g7.xlarge（4 vCPU、16 GiB内存）

  • 操作系统：Ubuntu 20.04

  • 系统盘容量：100 GiB

• EAIS实例规格：eais.ei-a6.2xlarge

• ECS实例和EAIS实例的地域和可用区：华北2（北京） 可用区I

  说明

  ECS实例与EAIS实例处于同一个可用区时，可以提高推理性能。您可以在EAIS实例规格支持的地域和可用区下创建ECS实例。EAIS实例规格支持的地域和可用区信息，请参见实例规格限制。

步骤一：创建ECS实例

1. 登录并前往ECS实例创建页。

2. 创建一台专有网络类型的ECS实例，来作为EAIS实例的绑定目标。

   具体操作，请参见实例创建方式介绍。

   创建ECS实例时，您需要注意如下配置项，未提及的配置项您根据实际情况设置即可。

   配置项	配置示例
   付费类型	按量付费
   地域	华北2（北京）
   网络及可用区	网络类型：专有网络 可用区：华北2 可用区I
   实例	ecs.g7.xlarge
   镜像	选择公共镜像，并设置为Ubuntu 20.04 64位
   系统盘	容量设置为100 GiB
   公网IP	选中分配公网IPv4地址

步骤二：在ECS实例上部署ChatGLM2-6B环境

1. 远程连接ECS实例。

   具体操作，请参见在Linux或macOS环境中使用用户名密码验证。

2. 安装Docker。

   1. 执行如下命令，安装Docker依赖包。

      apt-get update && \
      apt install -y --no-install-recommends software-properties-common

   2. 执行如下命令，安装Docker。

      curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | apt-key add -
      add-apt-repository -y \
      "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \
      $(lsb_release -cs) \
      stable" && \
      apt-get update && \
      apt-get install -y docker-ce

3. 执行如下命令，下载EAIS提供ChatGLM2-6B镜像。

   docker pull registry.cn-beijing.aliyuncs.com/eai_beijing/chatglm2-6b:v4.2.3

步骤三：创建EAIS实例并绑定至ECS实例

1. 创建EAIS实例。

   具体操作，请参见创建EAIS实例。

   创建EAIS实例时，您需要注意如下配置项，未提及的配置项您根据实际情况设置即可。

   配置项	配置示例
   地域	华北2（北京）
   实例规格	eais.ei-a6.2xlarge

2. 将EAIS实例绑定至步骤一：创建ECS实例创建的ECS实例。

   具体操作，请参见绑定ECS实例。

步骤四：启动EAIS实例

绑定EAIS实例至ECS实例后，您必须要启动EAIS实例才能使用EAIS提供的GPU能力，具体操作，请参见启动EAIS实例。

步骤五：启动ChatGLM2-6B Web服务

1. 远程连接ECS实例。

   具体操作，请参见在Linux或macOS环境中使用用户名密码验证。

2. 执行如下命令，启动ChatGLM2-6B Web服务。

   docker run --rm -it --net host registry.cn-beijing.aliyuncs.com/eai_beijing/chatglm2-6b:v4.2.3

   如果出现如下回显信息，则成功启动ChatGLM2-6B Web服务。此时，您需要记录ChatGLM2-6B Web服务的端口，默认为7860。

3. 为ECS实例配置安全组规则。

   你需要在您的ECS实例安全组规则中添加7860端口的访问权限，其中授权对象为您用来访问ChatGLM2-6B Web服务的IP地址或IP地址段。具体操作，请参见添加安全组规则。

4. 在您的本地机器上使用浏览器访问http://ECS实例的公网IP地址:7860，检查ChatGLM2-6B Web服务是否搭建成功。

   如果成功访问网站，如图所示，表示您已成功搭建了ChatGLM2-6B Web服务。

（可选）步骤六：停止EAIS实例

当您暂时不需要EAIS实例提供的GPU能力时，可以停止EAIS实例，从而避免不必要的计费。具体操作，请参见停止EAIS实例。

相关文档

• 如果您需要通过EAIS实例部署ChatGLM-6B，请参见使用EAIS实例部署ChatGLM-6B。

• 如果您需要通过EAIS实例部署Stable-Diffusion，请参见使用EAIS实例部署Stable-Diffusion。