使用EAIS实例(TensorFlow模型)
EAIS实例成功绑定至ECS实例后,您需要远程登录该ECS实例,使用EAIS实例进行AI推理。本文为您介绍使用EAIS推理TensorFlow模型的具体操作。
前提条件
已将EAIS实例绑定至ECS实例上。具体操作,请参见绑定实例。
已将您需要推理的TensorFlow模型文件放至ECS实例客户端的目录下。
环境准备
登录EAIS控制台。
在EAIS控制台页面左上角选择实例所在地域。
在实例列表中,单击EAIS实例对应的
ECS实例ID
,进入该ECS实例控制台。远程登录ECS实例。具体操作,请参见远程连接ECS实例。
在ECS实例客户端安装Docker软件包。具体操作,请参见安装Docker。
执行如下命令,下载EAIS TensorFlow Serving容器镜像。
docker pull registry.cn-beijing.aliyuncs.com/ai_beijing/tensorflow_serving:1.14.0-eai
将pip软件升级至最新版本。
如果您的Python版本为3.5.x,请执行如下命令。
pip3 install --upgrade "pip < 21.0"
如果您的Python版本大于3.5.x,请执行如下命令。
pip3 install --upgrade pip
执行如下命令,安装wheel包。
pip3 install grpcio requests tensorflow-serving-api==1.14.0
使用EAIS实例
使用EAIS TensorFlow Serving容器,启动您的模型推理服务。
docker run -d -it --network=host --rm -v host_ model_path : target_model_path -e MODEL_NAME= model_name -t registry.cn-beijing.aliyuncs.com/ai_beijing/tensorflow_serving:1.14.0-eai
host_model_path
:模型文件在ECS客户端的路径。target_model_path
:模型文件在容器内的目标路径。model_name
:模型名称。
启动成功后,运行您的模型推理程序。