TensorFlow Serving启动成功后,您可以将数据发送到运行在vSGX机密计算环境中的推理服务。推理完成后,得到返回结果。
操作步骤
- 登录客户端ECS实例。
- 安装所需的mesa-libGL软件包。
yum install -y python3-pip mesa-libGL
python3 -m pip install --user -U pip
python3 -m pip install --user virtualenv
# 创建virtualenv环境,避免污染原有python软件依赖
# python3 -m virtualenv venv
source venv/bin/activate
python3 -m pip install multidict
- 配置TensorFlow Serving服务域名。
# vSGX_ip_addr为vSGX实例的IP地址,请替换为实际的IP地址。当客户端与vSGX端部署在同一台ECS实例上,vSGX_ip_addr请修改为该ECS实例内网IP。
sudo sh -c 'echo "${vSGX_ip_addr} grpc.tf-serving.service.com" >> /etc/hosts'
- 运行远端请求。
远端请求会将数据发送到运行在SGX机密计算环境中的推理服务。推理完成后,得到返回结果。
export CC_DIR=$(realpath ./confidential-computing)
cd ${CC_DIR}/Tensorflow_Serving/client
python3 ./resnet_client_grpc.py -batch 1 -cnum 1 -loop 50 -url grpc.tf-serving.service.com:8500 -ca `pwd -P`/ssl_configure/ca_cert.pem -crt `pwd -P`/ssl_configure/client/cert.pem -key `pwd -P`/ssl_configure/client/key.pem