在ECS实例上使用EAIS推理TensorFlow模型_弹性加速计算实例(EAIS)-阿里云帮助中心

您可以在ECS实例（非GPU实例）上绑定一个弹性加速计算实例EAIS（EAIS可以为ECS实例提供GPU资源），即可生成一款新规格的GPU实例。相比直接购买GPU实例，使用该方式可以为您灵活提供GPU资源并有效节省成本。如果您初次使用EAIS，可以通过本文内容体验在ECS实例上使用EAIS推理TensorFlow模型的完整使用流程，帮助您快速上手EAIS。

背景信息

本教程将引导您创建一个华东1（杭州）地域、eais.ei-a6.2xlarge规格的EAIS实例，并以公开的resnet50模型、inception模型和bert-base模型为例，带您体验基于目标检测的推理场景下，使用EAIS推理TensorFlow模型的完整操作流程。

步骤一：创建并绑定ECS实例和EAIS实例

创建ECS实例。
1. 登录并前往ECS实例创建页。
2. 创建一个专有网络类型的ECS实例，来作为EAIS实例的绑定目标。
  具体操作，请参见实例创建方式介绍。
  说明
  ECS实例的操作系统推荐使用Ubuntu 18.04。
创建EAIS实例。
1. 登录EAIS控制台。
2. 在左侧导航栏，选择弹性加速计算实例 EAIS > 弹性加速计算实例列表。
  重要
  如果您的阿里云账号未添加并授权AliyunServiceRoleForEais角色（角色权限策略为AliyunServiceRoleForEais），您需要先授权EAIS创建一个服务关联角色后，再创建EAIS实例。具体操作，请参见服务关联角色。
3. 单击创建弹性加速计算实例。
4. 在EAIS实例购买页面，配置EAIS实例参数，然后单击立即购买。
  配置项说明如下：
  配置项
  配置示例
  地域
  华东1（杭州）
  实例名称
  eais_test
  实例规格
  eais.ei-a6.2xlarge
  专有网络
  eais-vpc
  交换机
  eais-vswitch
  安全组
  eais-securitygroup
  资源组
  默认资源组
5. 在确认订单页面，选中服务协议右侧的我已阅读并同意弹性加速计算实例服务协议，然后单击立即开通。
绑定EAIS实例至ECS实例。
1. 单击管理控制台，前往EAIS控制台。
2. 在EAIS实例列表中，单击实例eais_test所在操作列下的绑定。
3. 在对话框中，选择待绑定的ECS实例。
4. 单击确定。
  EAIS实例列表每15秒自动刷新，当EAIS实例状态由绑定中变为已绑定时，表示EAIS实例绑定成功。
  重要
  一个EAIS实例仅支持绑定一个ECS实例，一个ECS实例仅支持绑定一个EAIS实例。更多信息，请参见使用限制。

步骤二：启动EAIS实例

重要

仅使用EAIS控制台和调用CreateEaisEi创建的EAIS实例需要执行本操作。

在EAIS实例列表中，单击实例eais_test所在操作列下的启动。
在启动实例对话框中，单击确定。
EAIS实例列表每15秒自动刷新，当EAIS实例状态由已绑定变为使用中时，表示EAIS实例启动成功。

步骤三：登录ECS实例

登录EAIS控制台。
在EAIS实例列表中，单击实例eais_test绑定的ECS实例ID，进入该ECS实例详情页。
远程登录ECS实例。
具体操作，请参见连接方式概述。

步骤四：搭建运行环境

执行如下命令，将pip软件升级至最新版本。
```
python3 -m pip install --upgrade pip
```
执行如下命令，安装TensorFlow。
以TensorFlow版本为1.15.5为例。
```
pip3 install tensorflow==1.15.5
```

执行如下命令，安装EAIS TensorFlow。

pip3 install eais_tensorflow -f https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/index.html

执行如下命令，下载模型软件包。

wget https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/eais2_example.tar

执行如下命令，解压软件包。
```
tar xvf eais2_example.tar
```

（可选）步骤五：查看EAIS相关信息

如果您想查看EAIS相关信息，只需在搭建完毕的运行环境中，执行eais_smi命令，即可在回显中查看EAIS实例规格、EAIS GPU使用率等信息，回显示例如下。 eais_smi工具查看硬件信息

步骤六：推理TensorFlow模型

执行如下命令，使用EAIS推理resnet50模型。

pushd eais2_example/resnet50
python3 resnet50.py
popd

回显信息如下。
执行如下命令，使用EAIS推理inception模型。
以inception V4模型为例。
```
pushd eais2_example/inception
python3 inception.py
popd
```
回显信息如下。
执行如下命令，使用EAIS推理bert-base模型。

pushd eais2_example/bert
python3 bert_infer.py
popd

回显信息如下。

（可选）步骤七：停止EAIS实例

当您暂时不需要EAIS提供的GPU能力时，您可以停止EAIS实例。

重要

仅使用EAIS控制台和调用CreateEaisEi创建的EAIS实例支持执行本操作。

登录EAIS控制台。
在EAIS实例列表中，单击实例eais_test所在操作列下的停止。
在停止实例对话框中，单击确定。
EAIS实例列表每15秒自动刷新，当EAIS实例状态由使用中变为已绑定时，表示EAIS实例已停止。

（可选）步骤八：解绑并释放EAIS实例

完成推理后，如果您需要将该EAIS实例绑定至其他ECS实例，您可以将该EAIS实例从ECS实例上解绑后，再重新绑定至其他ECS实例。如果您不再需要使用该EAIS实例，则您需要将该EAIS实例从ECS实例上解绑后，才能释放该EAIS实例。解绑和释放EAIS实例的具体操作如下：

登录EAIS控制台。
将EAIS实例从ECS实例上解绑。
1. 在EAIS实例列表中，单击实例eais_test所在操作列下的解绑。
2. 在解绑ECS实例对话框中，单击确定。
  EAIS实例列表每15秒自动刷新，当EAIS实例状态变从已绑定变为可绑定时，表示EAIS实例解绑成功。
将已解绑的EAIS实例释放。
1. 在EAIS实例列表中，单击实例eais_test所在操作列下的释放资源。
2. 在释放资源对话框中，单击确定。
  EAIS实例将从EAIS实例列表中删除。

配置项	配置示例
地域	华东1（杭州）
实例名称	eais_test
实例规格	eais.ei-a6.2xlarge
专有网络	eais-vpc
交换机	eais-vswitch
安全组	eais-securitygroup
资源组	默认资源组