文档

使用EAIS推理TensorFlow模型

更新时间:

您可以在ECS实例(非GPU实例)上绑定一个弹性加速计算实例EAIS(EAIS可以为ECS实例提供GPU资源),即可生成一款新规格的GPU实例。相比直接购买GPU实例,使用该方式可以为您灵活提供GPU资源并有效节省成本。如果您初次使用EAIS,可以通过本文内容体验在ECS实例上使用EAIS推理TensorFlow模型的完整使用流程,帮助您快速上手EAIS。

背景信息

本教程将引导您创建一个华东1(杭州)地域、eais.ei-a6.2xlarge规格的EAIS实例,并以公开的resnet50模型、inception模型和bert-base模型为例,带您体验基于目标检测的推理场景下,使用EAIS推理TensorFlow模型的完整操作流程。

步骤一:创建并绑定ECS实例和EAIS实例

  1. 创建ECS实例。

    1. 登录并前往ECS实例创建页

    2. 创建一个专有网络类型的ECS实例,来作为EAIS实例的绑定目标。

      具体操作,请参见实例创建方式介绍

      说明

      ECS实例的操作系统推荐使用Ubuntu 18.04。

  2. 创建EAIS实例。

    1. 登录EAIS控制台

    2. 在左侧导航栏,选择弹性加速计算实例 EAIS > 弹性加速计算实例列表

      重要

      如果您的阿里云账号未添加并授权AliyunServiceRoleForEais角色(角色权限策略为AliyunServiceRoleForEais),您需要先授权EAIS创建一个服务关联角色后,再创建EAIS实例。具体操作,请参见服务关联角色

    3. 单击创建弹性加速计算实例

    4. 在EAIS实例购买页面,配置EAIS实例参数,然后单击立即购买

      创建EAIS实例.png配置项说明如下:

      配置项

      配置示例

      地域

      华东1(杭州)

      实例名称

      eais_test

      实例规格

      eais.ei-a6.2xlarge

      专有网络

      eais-vpc

      交换机

      eais-vswitch

      安全组

      eais-securitygroup

      资源组

      默认资源组

    5. 确认订单页面,选中服务协议右侧的我已阅读并同意弹性加速计算实例服务协议,然后单击立即开通eais 订单确认

  3. 绑定EAIS实例至ECS实例。

    1. 单击管理控制台,前往EAIS控制台

      eais 购买成功

    2. 在EAIS实例列表中,单击实例eais_test所在操作列下的绑定绑定EAIS.png

    3. 在对话框中,选择待绑定的ECS实例。

    4. 单击确定

      EAIS实例列表每15秒自动刷新,当EAIS实例状态由绑定中变为已绑定时,表示EAIS实例绑定成功。

      重要

      一个EAIS实例仅支持绑定一个ECS实例,一个ECS实例仅支持绑定一个EAIS实例。更多信息,请参见使用限制

步骤二:启动EAIS实例

重要

仅使用EAIS控制台和调用CreateEaisEi创建的EAIS实例需要执行本操作。

  1. 在EAIS实例列表中,单击实例eais_test所在操作列下的启动启动EAIS.png

  2. 启动实例对话框中,单击确定

    EAIS实例列表每15秒自动刷新,当EAIS实例状态由已绑定变为使用中时,表示EAIS实例启动成功。

步骤三:登录ECS实例

  1. 登录EAIS控制台

  2. 在EAIS实例列表中,单击实例eais_test绑定的ECS实例ID,进入该ECS实例详情页。单击ECS实例ID.png

  3. 远程登录ECS实例。

    具体操作,请参见连接方式概述远程连接ECS实例.png

步骤四:搭建运行环境

  1. 执行如下命令,将pip软件升级至最新版本。

    python3 -m pip install --upgrade pip
  2. 执行如下命令,安装TensorFlow。

    以TensorFlow版本为1.15.5为例。

    pip3 install tensorflow==1.15.5
  3. 执行如下命令,安装EAIS TensorFlow。

    pip3 install eais_tensorflow -f https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/index.html
  4. 执行如下命令,下载模型软件包。

    wget https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/eais2_example.tar
  5. 执行如下命令,解压软件包。

    tar xvf eais2_example.tar

(可选)步骤五:查看EAIS相关信息

如果您想查看EAIS相关信息,只需在搭建完毕的运行环境中,执行eais_smi命令,即可在回显中查看EAIS实例规格、EAIS GPU使用率等信息,回显示例如下。eais_smi工具查看硬件信息

步骤六:推理TensorFlow模型

  1. 执行如下命令,使用EAIS推理resnet50模型。

  2. pushd eais2_example/resnet50
    python3 resnet50.py
    popd
  3. 回显信息如下。TensorFlow-resnet50

  4. 执行如下命令,使用EAIS推理inception模型。

    以inception V4模型为例。

    pushd eais2_example/inception
    python3 inception.py
    popd

    回显信息如下。TensorFlow-inception

  5. 执行如下命令,使用EAIS推理bert-base模型。

  6. pushd eais2_example/bert
    python3 bert_infer.py
    popd
  7. 回显信息如下。TensorFlow-bert base

(可选)步骤七:停止EAIS实例

当您暂时不需要EAIS提供的GPU能力时,您可以停止EAIS实例。

重要

仅使用EAIS控制台和调用CreateEaisEi创建的EAIS实例支持执行本操作。

  1. 登录EAIS控制台

  2. 在EAIS实例列表中,单击实例eais_test所在操作列下的停止

  3. 停止实例对话框中,单击确定

    EAIS实例列表每15秒自动刷新,当EAIS实例状态由使用中变为已绑定时,表示EAIS实例已停止。

(可选)步骤八:解绑并释放EAIS实例

完成推理后,如果您需要将该EAIS实例绑定至其他ECS实例,您可以将该EAIS实例从ECS实例上解绑后,再重新绑定至其他ECS实例。如果您不再需要使用该EAIS实例,则您需要将该EAIS实例从ECS实例上解绑后,才能释放该EAIS实例。解绑和释放EAIS实例的具体操作如下:

  1. 登录EAIS控制台

  2. 将EAIS实例从ECS实例上解绑。

    1. 在EAIS实例列表中,单击实例eais_test所在操作列下的解绑

    2. 解绑ECS实例对话框中,单击确定

      EAIS实例列表每15秒自动刷新,当EAIS实例状态变从已绑定变为可绑定时,表示EAIS实例解绑成功。

  3. 将已解绑的EAIS实例释放。

    1. 在EAIS实例列表中,单击实例eais_test所在操作列下的释放资源

    2. 释放资源对话框中,单击确定

      EAIS实例将从EAIS实例列表中删除。

相关文档

您也可以体验EAIS推理PyTorch模型的完整使用流程,帮助您快速上手EAIS,具体操作,请参见使用EAIS推理PyTorch模型(Python)使用EAIS推理PyTorch模型(C++)。更多EAIS实例使用方法,请参见使用EAIS实例实践教程

  • 本页导读 (1)