TensorFlow Serving启动成功后,您可以将数据发送到运行在vSGX机密计算环境中的推理服务。推理完成后,得到返回结果。

操作步骤

  1. 登录客户端ECS实例。
    具体操作,请参见连接方式概述
    说明 本示例将客户端作为远端进行访问。
  2. 安装所需的mesa-libGL软件包。
    yum install -y python3-pip mesa-libGL
    
    python3 -m pip install --user -U pip
    python3 -m pip install --user virtualenv
    # 创建virtualenv环境,避免污染原有python软件依赖
    # python3 -m virtualenv venv
    source venv/bin/activate
    python3 -m pip install multidict
  3. 配置TensorFlow Serving服务域名。
    # vSGX_ip_addr为vSGX实例的IP地址,请替换为实际的IP地址。当客户端与vSGX端部署在同一台ECS实例上,vSGX_ip_addr请修改为该ECS实例内网IP。
    sudo sh -c 'echo "${vSGX_ip_addr} grpc.tf-serving.service.com" >> /etc/hosts'
  4. 运行远端请求。

    远端请求会将数据发送到运行在SGX机密计算环境中的推理服务。推理完成后,得到返回结果。

    export CC_DIR=$(realpath ./confidential-computing)
    cd ${CC_DIR}/Tensorflow_Serving/client
    python3 ./resnet_client_grpc.py -batch 1 -cnum 1 -loop 50 -url grpc.tf-serving.service.com:8500 -ca `pwd -P`/ssl_configure/ca_cert.pem -crt `pwd -P`/ssl_configure/client/cert.pem -key `pwd -P`/ssl_configure/client/key.pem