阿里云首页 弹性加速计算实例EAIS

使用EAIS实例(TensorFlow模型)

EAIS实例成功绑定至ECS实例后,您需要远程登录该ECS实例,使用EAIS实例进行AI推理。本文为您介绍使用EAIS推理TensorFlow模型的具体操作。

前提条件

  • 已将EAIS实例绑定至ECS实例上。具体操作,请参见绑定实例

  • 已将您需要推理的TensorFlow模型文件放至ECS实例客户端的目录下。

环境准备

  1. 登录EAIS控制台

  2. EAIS控制台页面左上角选择实例所在地域。

  3. 在实例列表中,单击EAIS实例对应的ECS实例ID,进入该ECS实例控制台。

  4. 远程登录ECS实例。具体操作,请参见远程连接ECS实例

  5. 在ECS实例客户端安装Docker软件包。具体操作,请参见安装Docker

  6. 执行如下命令,下载EAIS TensorFlow Serving容器镜像。

    docker pull registry.cn-beijing.aliyuncs.com/ai_beijing/tensorflow_serving:1.14.0-eai
  7. 将pip软件升级至最新版本。

    • 如果您的Python版本为3.5.x,请执行如下命令。

      pip3 install --upgrade "pip < 21.0"
    • 如果您的Python版本大于3.5.x,请执行如下命令。

      pip3 install --upgrade pip
  8. 执行如下命令,安装wheel包。

    pip3 install grpcio requests tensorflow-serving-api==1.14.0

使用EAIS实例

  1. 使用EAIS TensorFlow Serving容器,启动您的模型推理服务。

    docker run -d -it --network=host --rm -v   
    host_ model_path 
    :  
    target_model_path 
      -e MODEL_NAME= 
    model_name 
      -t registry.cn-beijing.aliyuncs.com/ai_beijing/tensorflow_serving:1.14.0-eai
    • host_model_path:模型文件在ECS客户端的路径。

    • target_model_path:模型文件在容器内的目标路径。

    • model_name:模型名称。

  2. 启动成功后,运行您的模型推理程序。

首页 弹性加速计算实例EAIS 用户指南 使用EAIS实例(TensorFlow模型)