首页 弹性加速计算实例EAIS 快速入门 使用EAIS推理TensorFlow模型

使用EAIS推理TensorFlow模型

如果您初次使用弹性加速计算实例EAIS,可以通过本文内容体验EAIS推理TensorFlow模型的完整使用流程,帮助您快速上手EAIS。

前提条件

已注册阿里云账号。注册账号的具体操作,请参见阿里云账号注册流程

背景信息

本教程将引导您创建一台华东1(杭州)地域,eais.ei-a6.2xlarge规格的EAIS实例,并以公开的resnet50模型、inception模型和bert-base模型为例,带您体验基于目标检测的推理场景下,使用EAIS推理TensorFlow模型的完整操作流程。

步骤一:创建ECS实例

  1. 登录并前往ECS实例创建页

  2. 创建一台专有网络类型的ECS实例,来作为EAIS实例的绑定目标。

    具体操作,请参见创建ECS实例

步骤二:创建EAIS实例

  1. 登录EAIS控制台

  2. 在左侧导航栏,选择弹性加速计算实例 EAIS > 弹性加速计算实例列表

  3. 单击创建弹性加速计算实例

    eais控制台创建按钮
  4. 在EAIS实例购买页面,选择地域华东1(杭州)

    eais地域选择
  5. 设置实例名称eais_test

    eais名称输入
  6. 选择实例规格eais.ei-a6.2xlarge

    eais规格选择
  7. 选择专有网络eais vpc选择

  8. 选择交换机eais 交换机选择

  9. 选择安全组eais安全组选择

  10. 单击立即购买

  11. 确认订单页面,选中服务协议,然后单击立即开通eais 订单确认

步骤三:绑定EAIS至ECS实例

  1. 单击管理控制台,前往EAIS控制台

    eais 购买成功
  2. 在EAIS实例列表中,单击实例eais_test所在操作列下的绑定ECS实例eais 可绑定

  3. 绑定ECS实例对话框中,在选择ECS实例列表中,选择待绑定的ECS实例。

    eais 绑定
  4. 单击确定

    EAIS实例列表每15秒自动刷新,当EAIS实例状态由绑定中变为已绑定时,表示EAIS实例绑定成功。

    eais 已绑定
    重要

    EAIS实例仅支持绑定一台ECS实例,且ECS实例仅支持绑定一个EAIS实例。

步骤四:登录ECS实例

  1. 在EAIS实例列表中,单击实例eais_test对应的ECS实例ID,进入该ECS实例控制台。eais 客户端实例id

  2. 远程登录ECS实例。

    具体操作,请参见远程连接ECS实例ecs 远程连接

步骤五:搭建运行环境

  1. 执行如下命令,将pip软件升级至最新版本。

    python3 -m pip install --upgrade pip
  2. 执行如下命令,安装TensorFlow。

    以TensorFlow版本为1.15.5为例。

    pip3 install tensorflow==1.15.5
  3. 执行如下命令,安装EAIS TensorFlow。

    pip3 install eais_tensorflow -f https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/index.html
  4. 执行如下命令,下载模型软件包。

    wget https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/eais2_example.tar
  5. 执行如下命令,解压软件包。

    tar xvf eais2_example.tar

(可选)步骤六:查看EAIS相关信息

如果您想查看EAIS相关信息,只需在搭建完毕的运行环境中,执行eais_smi命令,即可在回显中查看EAIS实例规格、EAIS GPU使用率等信息,回显示例如下。eais_smi工具查看硬件信息

步骤七:推理TensorFlow模型

  1. 执行如下命令,使用EAIS推理resnet50模型。

  2. pushd eais2_example/resnet50
    python3 resnet50.py
    popd

    回显信息如下。TensorFlow-resnet50

  3. 执行如下命令,使用EAIS推理inception模型。

    以inception V4模型为例。

    pushd eais2_example/inception
    python3 inception.py
    popd

    回显信息如下。TensorFlow-inception

  4. 执行如下命令,使用EAIS推理bert-base模型。

  5. pushd eais2_example/bert
    python3 bert_infer.py
    popd

    回显信息如下。TensorFlow-bert base

(可选)步骤八:解绑EAIS实例

当您完成了推理后,如果不再使用该EAIS实例,或需要绑定其他ECS实例,请进行如下解绑操作。

  1. 前往EAIS控制台

  2. 在EAIS实例列表中,单击实例eais_test所在操作列下的解绑ECS实例eais 解绑

  3. 解绑ECS实例对话框中,单击确定

    EAIS实例列表每10秒自动刷新,当EAIS实例状态由解绑中变为可绑定时,表示EAIS实例解绑成功。

(可选)步骤九:释放EAIS实例

解绑ECS实例后,您的ECS实例将失去EAIS提供的推理加速服务。若不再使用此EAIS实例,请进行如下操作释放EAIS实例,避免不必要的计费。

  1. 前往EAIS控制台

  2. 在EAIS实例列表中,单击实例eais_test所在操作列下的释放资源

    eais 释放
  3. 释放资源对话框中,单击确定

    EAIS实例将从EAIS实例列表中删除。

阿里云首页 弹性加速计算实例 相关技术圈