安全加密推理服务

1.准备模型（可选）

以使用modelscope工具下载Qwen2.5-3B-Instruct模型为例（需要 Python 3.9 或更高版本），在终端中执行如下命令下载模型。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

成功执行命令后，模型将被下载到~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/目录下。

2.模型加密

PAI-EAS支持如下两种加密方式，本方案以Sam为例。

• Gocryptfs：基于AES256-GCM，符合开源Gocryptfs标准的加密模式。

• Sam：阿里云可信AI模型加密格式，保护模型机密性和License内容不被篡改和非法使用。

3.上传模型

EAS支持将加密模型存储在多种存储后端，并在部署服务时，通过挂载的方式将解密后的模型加载到服务实例中。更多信息请参考存储挂载。

以对象存储OSS为例，参考控制台快速入门创建一个存储空间（Bucket）和一个名为qwen-encrypted的目录（例如oss://examplebucket/qwen-encrypted/）。因模型文件较大，推荐使用ossbrowser将加密模型上传到该目录。

以Sam加密为例，密文模型上传后的结果如下图所示。若采用Gocryptfs加密方式，模型文件的文件名将全部变成加密后的乱码。

4.搭建远程证明服务和上传密钥

将用于解密模型的密钥托管在远程证明服务中。远程证明服务是用户管理的验证服务，负责对模型和推理服务的运行环境做验证。只有当确认EAS模型部署环境的可信度符合预期条件时，才会注入模型解密密钥实现模型解密挂载。

目前，EAS支持阿里云托管的自建Trustee远程证明服务。您可以使用阿里云ACK Serverless来部署远程证明服务，对模型部署环境和推理环境进行验证。同时，利用阿里云KMS为模型解密密钥提供专业的安全保障。具体操作步骤如下：

1. 首先创建一个阿里云KMS实例作为密钥存储后端。

   1. 前往密钥管理服务控制台，在左侧导航栏选择资源 > 实例管理，然后在软件密钥管理页签创建并启动实例。在启动实例时，请选择与ACK集群相同的专有网络。具体操作，请参见购买和启用KMS实例。

      等待大约10分钟，即可启动完毕。

   2. 实例启动完成后，在左侧导航栏选择资源 > 密钥管理，然后在密钥管理页面为该实例创建一个用户主密钥。具体操作，请参见步骤一：创建软件密钥。

   3. 在左侧导航栏选择应用接入 > 接入点，然后在接入点页面为该实例创建应用接入点。其中作用域选择已创建的KMS实例。更多配置说明，请参见方式一：快速创建。

      应用接入点创建成功后，浏览器会自动下载ClientKey***.zip文件，该zip文件解压后包含：

      • 应用身份凭证内容（ClientKeyContent）：文件名默认为clientKey_****.json。

      • 凭证口令（ClientKeyPassword）：文件名默认为clientKey_****_Password.txt。

   4. 在资源 > 实例管理页面，单击KMS实例名称，然后在基础信息区域，单击实例CA证书后的下载，导出KMS实例的公钥证书文件PrivateKmsCA_***.pem。

2. 创建ACK服务集群并安装csi-provisioner组件。

   1. 前往创建集群页面，创建ACK Serverless集群，其中关键参数配置说明如下，更多配置说明，请参见创建集群。

      1. 集群配置：配置以下参数，完成后单击下一步：组件配置。

         关键配置	描述
         专有网络	选择使用已有，并勾选为专有网络配置SNAT，否则无法拉取Trustee镜像。
         交换机	请确保在已有专有网络中创建至少两个虚拟交换机，否则无法暴露公网ALB。

      2. 组件配置：配置以下参数，完成后单击下一步：确认配置。

         关键配置	描述
         服务发现	选择CoreNDS。
         Ingress	选择ALB Ingress，ALB云原生网关实例来源选择新建，并选择两个虚拟交换机。

      3. 确认配置：确认配置信息和使用须知，然后单击创建集群。

   2. 集群创建成功后，安装csi-provisioner（托管）组件。具体操作，请参见管理组件。

3. 在ACK集群中部署Trustee远程证明服务。

   1. 首先通过公网或内网连接集群。具体操作，请参见连接集群。

   2. 将已下载的KMS实例的应用身份凭证（clientKey_****.json）、凭证口令（clientKey_****_Password.txt）和CA证书（PrivateKmsCA_***.pem），上传到连接ACK Serverless集群的环境中，并执行以下命令部署Trustee远程证明服务，使用阿里云KMS作为密钥存储后端。

      # 安装插件
      helm plugin install https://github.com/AliyunContainerService/helm-acr
      
      helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
      helm repo update
      
      export DEPLOY_RELEASE_NAME=trustee
      export DEPLOY_NAMESPACE=default
      export TRUSTEE_CHART_VERSION=1.0.0
      
      # 设置ACK集群所在的地域信息，比如cn-hangzhou
      export REGION_ID=cn-hangzhou
      
      # 刚才导出的KMS实例相关信息 
      # 替换为您的KMS实例ID
      export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
      # 替换为您的KMS实例应用身份凭证所在路径 
      export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
      # 替换为您的KMS实例凭证口令所在路径 
      export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
      # 替换为您的KMS实例CA证书所在路径
      export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
      
      helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
        --version ${TRUSTEE_CHART_VERSION} \
        --set regionId=${REGION_ID} \
        --set kbs.aliyunKms.enabled=true \
        --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
        --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
        --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
        --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
        --namespace ${DEPLOY_NAMESPACE}

      说明

      执行代码中第一条安装插件命令（helm plugin install...）可能需要较长时间。如果安装失败，可以先通过helm plugin uninstall cm-push命令卸载该插件，然后重新执行插件安装命令。

      返回结果示例为：

      NAME: trustee
      LAST DEPLOYED: Tue Feb 25 18:55:33 2025
      NAMESPACE: default
      STATUS: deployed
      REVISION: 1
      TEST SUITE: None

   3. 在连接ACK Serverless集群的环境中执行如下命令，来获取Trustee的访问地址。

      export TRUSTEE_URL=http://$(kubectl get AlbConfig alb -o jsonpath='{.status.loadBalancer.dnsname}')/${DEPLOY_RELEASE_NAME}
      echo ${TRUSTEE_URL}

      返回结果示例为http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/trustee。

   4. 在连接ACK Serverless集群的环境中执行以下命令，测试Trustee服务的连通性。

      cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
      {
          "version":"0.1.0",
          "tee": "tdx",
          "extra-params": "foo"
      }
      EOF

      若Trustee服务运行状态正常，预期输出如下：

      {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. 配置Trustee网络白名单。

   说明

   本项配置的目的是允许PAI-EAS模型部署环境主动访问远程证明服务，进行环境安全性检查。

   1. 前往阿里云ALB负载均衡控制台，创建访问控制策略组，并将访问Trustee权限的地址/地址段添加为IP条目。具体操作，请参见访问控制。其中，需要添加的地址段如下：

      • 部署EAS服务时绑定的专有网络的公网IP地址。

      • 推理客户端的出口IP地址。

   2. 使用如下命令获得集群上Trustee实例使用的ALB负载均衡实例ID。

      kubectl get ing --namespace ${DEPLOY_NAMESPACE} kbs-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

      预期输出如下结果：

      alb-llcdzbw0qivhk0****

   3. 在阿里云ALB负载均衡控制台左侧导航栏，选择应用型负载均衡ALB > 实例，在集群所在地域下搜索上一步获得的ALB实例，并单击实例ID进入实例详情页面。然后在页面最下方实例属性区域，单击关闭配置修改保护。

   4. 切换到监听页面，单击目标监听实例访问控制列下的启用，并配置白名单为上述步骤创建的访问控制策略组。

5. 创建凭据来存储模型解密密钥。

   Trustee托管的模型解密密钥实际上存储在KMS中，只有在远程证明服务验证目标环境后，密钥才能被访问。

   前往密钥管理服务控制台，在左侧导航栏选择资源 > 凭据管理，然后在通用凭据页签，单击创建凭据。其中关键配置说明如下：

   • 凭据名称：自定义凭据名称，用于索引该密钥，例如model-decryption-key。

   • 设置凭据值：填写加密模型时使用的密钥。例如0Bn4Q1wwY9fN3P，您的密钥以实际为准。

   • 加密主密钥：选择上述步骤创建的主密钥。