使用EAIS推理TensorFlow模型
如果您初次使用弹性加速计算实例EAIS,可以通过本文内容体验EAIS推理TensorFlow模型的完整使用流程,帮助您快速上手EAIS。
前提条件
已注册阿里云账号。注册账号的具体操作,请参见阿里云账号注册流程。
背景信息
本教程将引导您创建一台华东1(杭州)地域,eais.ei-a6.2xlarge规格的EAIS实例,并以公开的resnet50模型、inception模型和bert-base模型为例,带您体验基于目标检测的推理场景下,使用EAIS推理TensorFlow模型的完整操作流程。
步骤一:创建ECS实例
步骤二:创建EAIS实例
登录EAIS控制台。
在左侧导航栏,选择弹性加速计算实例 EAIS > 弹性加速计算实例列表。
单击创建弹性加速计算实例。
在EAIS实例购买页面,选择地域为华东1(杭州)。
设置实例名称为
eais_test
。选择实例规格为eais.ei-a6.2xlarge。
选择专有网络。
选择交换机。
选择安全组。
单击立即购买。
在确认订单页面,选中服务协议,然后单击立即开通。
步骤三:绑定EAIS至ECS实例
单击管理控制台,前往EAIS控制台。
在EAIS实例列表中,单击实例
eais_test
所在操作列下的绑定ECS实例。在绑定ECS实例对话框中,在选择ECS实例列表中,选择待绑定的ECS实例。
单击确定。
EAIS实例列表每15秒自动刷新,当EAIS实例状态由绑定中变为已绑定时,表示EAIS实例绑定成功。
重要EAIS实例仅支持绑定一台ECS实例,且ECS实例仅支持绑定一个EAIS实例。
步骤四:登录ECS实例
在EAIS实例列表中,单击实例
eais_test
对应的ECS实例ID,进入该ECS实例控制台。远程登录ECS实例。
具体操作,请参见远程连接ECS实例。
步骤五:搭建运行环境
执行如下命令,将pip软件升级至最新版本。
python3 -m pip install --upgrade pip
执行如下命令,安装TensorFlow。
以TensorFlow版本为1.15.5为例。
pip3 install tensorflow==1.15.5
执行如下命令,安装EAIS TensorFlow。
pip3 install eais_tensorflow -f https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/index.html
执行如下命令,下载模型软件包。
wget https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/eais2_example.tar
执行如下命令,解压软件包。
tar xvf eais2_example.tar
(可选)步骤六:查看EAIS相关信息
如果您想查看EAIS相关信息,只需在搭建完毕的运行环境中,执行eais_smi
命令,即可在回显中查看EAIS实例规格、EAIS GPU使用率等信息,回显示例如下。
步骤七:推理TensorFlow模型
执行如下命令,使用EAIS推理resnet50模型。
执行如下命令,使用EAIS推理inception模型。
以inception V4模型为例。
pushd eais2_example/inception python3 inception.py popd
回显信息如下。
执行如下命令,使用EAIS推理bert-base模型。
pushd eais2_example/resnet50
python3 resnet50.py
popd
回显信息如下。
pushd eais2_example/bert
python3 bert_infer.py
popd
回显信息如下。
(可选)步骤八:解绑EAIS实例
当您完成了推理后,如果不再使用该EAIS实例,或需要绑定其他ECS实例,请进行如下解绑操作。
前往EAIS控制台。
在EAIS实例列表中,单击实例
eais_test
所在操作列下的解绑ECS实例。在解绑ECS实例对话框中,单击确定。
EAIS实例列表每10秒自动刷新,当EAIS实例状态由解绑中变为可绑定时,表示EAIS实例解绑成功。
(可选)步骤九:释放EAIS实例
解绑ECS实例后,您的ECS实例将失去EAIS提供的推理加速服务。若不再使用此EAIS实例,请进行如下操作释放EAIS实例,避免不必要的计费。
前往EAIS控制台。
在EAIS实例列表中,单击实例
eais_test
所在操作列下的释放资源。在释放资源对话框中,单击确定。
EAIS实例将从EAIS实例列表中删除。