通过在ECS实例(非GPU实例)上绑定一个EAIS实例,即可生成一款新规格的GPU实例,该方式相比直接购买GPU实例,可以实现GPU资源的弹性使用(例如您可以根据实际需要绑定EAIS实例,即可灵活为ECS实例提供GPU资源),并为您降低部署成本和使用成本。本文介绍在ECS实例上绑定EAIS实例、安装容器,并通过EAIS提供的镜像(其中已部署EAIS及相关模型软件包)快速搭建ChatGLM2-6B Web服务的具体操作。
背景信息
ChatGLM2-6B是一个开源对话语言模型,您可以使用EAIS实例来部署ChatGLM2-6B,也可以直接在GPU实例上部署。在ECS实例上绑定EAIS实例来部署ChatGLM2-6B的方式,相比直接购买GPU实例部署,可以从如下方面节省成本。更多EAIS实例优势,请参见低成本。
更多ChatGLM2-6B信息,请参见ChatGLM2-6B。
更多GPU实例信息,请参见什么是GPU云服务器。
节省部署成本:
在您使用ECS实例(非GPU实例)完成环境搭建之前,您无需创建EAIS实例,此时,仅有ECS实例(非GPU实例)在计费。如果您直接购买GPU实例然后在GPU实例上部署环境,将花费更多的成本用于部署环境。
节省使用成本:
GPU资源灵活挂载:当您部署好ChatGLM2-6B后,如果您暂时不需要执行ChatGLM2-6B任务,您可以前往EAIS控制台解绑并释放EAIS实例。然后在您需要执行任务时,再重新创建并绑定EAIS实例,此时,您在ECS实例上部署的环境没有任何影响。因此,您只需要长期拥有一台相比GPU实例更便宜的ECS实例,然后在需要使用GPU时挂载一台EAIS实例,该方式可以节省更多成本。
说明使用EAIS控制台和调用CreateEaisEi创建的EAIS实例,还可以通过停止或启动EAIS实例来灵活地为ECS实例提供GPU能力。只有启动EAIS实例时才会计费,停止EAIS实例即可结束计费,因此,还可以节省更多成本。
单价便宜:对比计费单价,使用EAIS实例比相同算力的GPU实例更加便宜。
计费说明
在部署和使用ChatGLM2-6B的过程中,涉及的计费内容如下:
环境说明
本教程将以如下EAIS实例与ECS实例为例,为您介绍使用EAIS实例部署ChatGLM2-6B。
ECS实例:
实例规格:ecs.g7.xlarge(4 vCPU、16 GiB内存)
操作系统:Ubuntu 20.04
系统盘容量:100 GiB
EAIS实例规格:eais.ei-a6.2xlarge
ECS实例和EAIS实例的地域和可用区:华北2(北京) 可用区I
说明ECS实例与EAIS实例处于同一个可用区时,可以提高推理性能。您可以在EAIS实例规格支持的地域和可用区下创建ECS实例。EAIS实例规格支持的地域和可用区信息,请参见实例规格限制。
步骤一:创建ECS实例
步骤二:在ECS实例上部署ChatGLM2-6B环境
远程连接ECS实例。
具体操作,请参见在Linux或macOS环境中使用用户名密码验证。
安装Docker。
执行如下命令,安装Docker依赖包。
apt-get update && \ apt install -y --no-install-recommends software-properties-common
执行如下命令,安装Docker。
curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | apt-key add - add-apt-repository -y \ "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \ $(lsb_release -cs) \ stable" && \ apt-get update && \ apt-get install -y docker-ce
执行如下命令,下载EAIS提供ChatGLM2-6B镜像。
docker pull registry.cn-beijing.aliyuncs.com/eai_beijing/chatglm2-6b:v4.2.3
步骤三:创建EAIS实例并绑定至ECS实例
创建EAIS实例。
具体操作,请参见创建EAIS实例。
创建EAIS实例时,您需要注意如下配置项,未提及的配置项您根据实际情况设置即可。
配置项
配置示例
地域
华北2(北京)
实例规格
eais.ei-a6.2xlarge
将EAIS实例绑定至步骤一:创建ECS实例创建的ECS实例。
具体操作,请参见绑定ECS实例。
步骤四:启动EAIS实例
仅使用EAIS控制台和调用CreateEaisEi创建的EAIS实例需要执行本操作。
绑定EAIS实例至ECS实例后,您必须要启动EAIS实例才能使用EAIS提供的GPU能力,具体操作,请参见启动EAIS实例。
步骤五:启动ChatGLM2-6B Web服务
远程连接ECS实例。
具体操作,请参见在Linux或macOS环境中使用用户名密码验证。
执行如下命令,启动ChatGLM2-6B Web服务。
docker run --rm -it --net host registry.cn-beijing.aliyuncs.com/eai_beijing/chatglm2-6b:v4.2.3
如果出现如下回显信息,则成功启动ChatGLM2-6B Web服务。此时,您需要记录ChatGLM2-6B Web服务的端口,默认为7860。
为ECS实例配置安全组规则。
你需要在您的ECS实例安全组规则中添加7860端口的访问权限,其中授权对象为您用来访问ChatGLM2-6B Web服务的IP地址或IP地址段。具体操作,请参见添加安全组规则。
在您的本地机器上使用浏览器访问
http://ECS实例的公网IP地址:7860
,检查ChatGLM2-6B Web服务是否搭建成功。如果成功访问网站,如图所示,表示您已成功搭建了ChatGLM2-6B Web服务。
(可选)步骤六:停止EAIS实例
仅使用EAIS控制台和调用CreateEaisEi创建的EAIS实例支持执行本操作。
当您暂时不需要EAIS实例提供的GPU能力时,可以停止EAIS实例,从而避免不必要的计费。具体操作,请参见停止EAIS实例。
(可选)步骤七:解绑并释放EAIS实例
为满足您业务的灵活性,您可以根据需要解除ECS实例与已绑定的EAIS实例之间的关联,然后再释放EAIS实例,从而实现GPU资源的弹性使用。
相关文档
如果您需要通过EAIS实例部署ChatGLM-6B,请参见使用EAIS实例部署ChatGLM-6B。
如果您需要通过EAIS实例部署Stable-Diffusion,请参见使用EAIS实例部署Stable-Diffusion。