TensorFlow Serving启动成功后,您可以将数据发送到运行在vSGX机密计算环境中的推理服务。推理完成后,得到返回结果。
操作步骤
登录客户端ECS实例。
具体操作,请参见通过密码或密钥认证登录Linux实例。
说明本示例将客户端作为远端进行访问。
安装所需的mesa-libGL软件包。
sudo yum install -y python3-pip mesa-libGL python3 -m pip install --user -U pip python3 -m pip install --user virtualenv # 创建virtualenv环境,避免污染原有python软件依赖 # python3 -m virtualenv venv source venv/bin/activate python3 -m pip install multidict
配置TensorFlow Serving服务域名。
说明vSGX_ip_addr为vSGX实例的IP地址,请替换为实际的IP地址。当客户端与vSGX端部署在同一台ECS实例上,vSGX_ip_addr请修改为该ECS实例内网IP。
sudo sh -c 'echo "${vSGX_ip_addr} grpc.tf-serving.service.com" >> /etc/hosts'
运行远端请求。
远端请求会将数据发送到运行在SGX机密计算环境中的推理服务。推理完成后,得到返回结果。
export CC_DIR=$(realpath ./confidential-computing) cd ${CC_DIR}/Tensorflow_Serving/client python3 ./resnet_client_grpc.py -batch 1 -cnum 1 -loop 50 -url grpc.tf-serving.service.com:8500 -ca `pwd -P`/ssl_configure/ca_cert.pem -crt `pwd -P`/ssl_configure/client/cert.pem -key `pwd -P`/ssl_configure/client/key.pem
文档内容是否对您有帮助?