在ACK异构机密计算集群中安全部署vLLM推理服务

基于ACK-CAI，可在ACK异构机密计算集群中部署vLLM模型推理服务，实现模型和数据的安全隔离与加密保护。优势如下。

• 硬件级安全隔离：利用Intel® TDX与NVIDIA GPU TEE技术构建硬件级可信执行环境（TEE），保障计算中模型与数据的机密性和完整性。

• 可信的密钥分发：通过远程证明机制严格校验运行环境。验证通过后，独立的Trustee服务才向可信环境分发模型解密密钥。

• 端到端数据加密：通过可信网关（TNG）建立客户端到服务端的加密信道，保护推理请求与响应数据在传输过程中的安全。

• 对应用无侵入：基于Kubernetes Webhook自动为Pod注入安全组件，仅需通过Annotation即可为应用开启安全能力，无需修改业务代码或镜像。

工作原理

ACK-CAI通过动态注入一组名为Trustiflux的Sidecar容器，为业务Pod提供透明的机密计算能力。其核心安全机制基于远程证明，确保模型和数据仅在可信的环境中被访问。

流程与环境指引

部署并访问一个安全的vLLM推理服务，主要分为以下阶段。

步骤一：准备加密模型

本小节使用加密工具处理模型数据，并将其上传到对象存储OSS中，为后续的密态分发做准备。

执行环境：为实现安全隔离，需准备一台临时ECS实例用于下载、加密和上传模型。建议与OSS Bucket处于相同地域，以便通过内网高速上传加密后的模型数据。

模型文件较大，过程耗时较长。如需快速体验方案，跳过本小节，可选择加密模型示例文件进行试用，直接进入步骤二：部署Trustee远程证明服务。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

步骤二：部署Trustee远程证明服务

遵循零信任原则，任何机密计算环境在获得访问敏感数据（如模型解密密钥）的权限前，都必须通过验证。此步骤将部署独立的Trustee服务，以对模型及推理服务的运行环境进行验证，确保仅在确认环境可信时才会注入模型解密密钥，以及在客户端侧发起推理请求时验证确认环境可信。

执行环境：一台专用的、部署在ACK集群之外的独立服务器，如ECS实例或云下自有服务器。

步骤三：配置ACK机密计算集群

本小节为运行机密计算任务搭建一个具备硬件级安全隔离能力的底层基础设施：创建一个ACK集群，并为其添加具备Intel TDX和NVIDIA TEE能力的ecs.gn8v-tee实例作为工作节点。

执行环境：ECS、ACK控制台（用于创建集群、节点池和ECS实例）以及创建好的 ecs.gn8v-tee实例的Shell环境（用于安装驱动）。

1. 已在华北2（北京）地域创建一个ACK托管集群Pro版，请参见创建ACK托管集群。

2. 为集群创建一个节点池，用于管理机密计算实例，请参见创建和管理节点池。

   • 交换机：选择华北2（北京）可用区L下的虚拟交换机。

   • 扩缩容模式：保持默认配置，不开启自动弹性伸缩。

   • 实例规格：ecs.gn8v-tee.4xlarge及以上规格。

   • 操作系统：Alibaba Cloud Linux 3.2104 LTS 64位。

   • 系统盘：100GiB以上。

   • 期望节点数：节点池初始节点数量，保持默认配置，为0。

   • 节点标签（Labels）：添加标签（键：ack.aliyun.com/nvidia-driver-version，值：550.144.03），指定NVIDIA驱动版本。

3. 创建EGS机密计算实例作为集群节点，请参见自定义购买实例。

   • 地域：华北2（北京）。

   • 网络和可用区：VPC与集群VPC保持一致，可用区L。

   • 实例规格：ecs.gn8v-tee.4xlarge及以上规格。

     gn8v-tee规格已默认开启CPU和GPU机密计算特性，无需额外选中机密虚拟机。

   • 镜像：Alibaba Cloud Linux 3.2104 LTS 64位。

4. 登录已创建的EGS实例，安装NVIDIA驱动和CUDA工具包，请参见步骤一：安装NVIDIA驱动和CUDA工具包。

5. 将EGS实例添加到此前创建的节点池中，选择添加方式为手动添加，请参见添加已有节点。

步骤四：部署ACK-CAI组件

基于ACK-CAI组件，可在集群中启用对应用无侵入的机密计算能力。该组件包含一个Webhook控制器，能够根据Pod的Annotation，自动为其注入实现远程证明、模型解密和安全通信所需的Sidecar容器。

执行环境：ACK控制台。

1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择应用 > Helm。

3. 单击创建，按照页面提示安装最新版本的ACK-CAI。

   请在Helm Chart YAML中修改tag为1.1.1。

   安装完成后，可在Helm Chart列表查看部署状态。

步骤五：部署vLLM模型推理服务

在基础环境和安全组件就绪后，本小节使用Helm部署vLLM服务，并通过添加特定Annotation来声明该应用需要由ACK-CAI进行安全增强。

执行环境：一台已配置好kubectl和helm且能访问集群的机器。可直接使用在Workbench或CloudShell。

1. 创建一个空的Helm Chart目录。

   mkdir -p ack-cai-vllm-demo
   cd ack-cai-vllm-demo

2. 初始化一个部署vLLM服务的Helm Chart。

   此Helm Chart将vLLM推理服务强制调度到机密计算GPU节点上，通过CSI插件将OSS作为模型存储。

   展开查看Helm Chart初始化脚本

   # 创建模板文件
   mkdir -p ./templates
   cat <<EOF >templates/vllm.yaml
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-oss
     namespace: {{ .Release.Namespace }}
     labels:
       alicloud-pvname: pv-oss
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: pv-oss
       volumeAttributes:
         bucket: {{ .Values.oss.bucket }}
         path: {{ .Values.oss.path }}
         url: {{ .Values.oss.url }}
         otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
       nodePublishSecretRef:
         name: oss-secret
         namespace: {{ .Release.Namespace }}
   
   ---
   
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: {{ .Release.Namespace }}
   stringData:
     akId: {{ .Values.oss.akId }}
     akSecret: {{ .Values.oss.akSecret }}
   
   ---
   
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-oss
     namespace: {{ .Release.Namespace }}
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 5Gi
     selector:
       matchLabels:
         alicloud-pvname: pv-oss
   
   ---
   
   apiVersion: v1
   kind: Service
   metadata:
     name: cai-vllm-svc
     namespace: {{ .Release.Namespace }}
     {{- if .Values.loadbalancer}}
     {{- if .Values.loadbalancer.aclId }}
     annotations:
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-status: "on"
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-id: {{ .Values.loadbalancer.aclId }}
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-type: "white"
     {{- end }}
     {{- end }}
     labels:
       app: cai-vllm
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
     selector:
       app: cai-vllm
     type: LoadBalancer
   
   ---
   
   apiVersion: v1
   kind: Pod
   metadata:
     name: cai-vllm
     namespace: {{ .Release.Namespace }}
     labels:
       app: cai-vllm
       trustiflux.alibaba.com/confidential-computing-mode: "ACK-CAI"
     annotations:
       trustiflux.alibaba.com/ack-cai-options: |
   {{ .Values.caiOptions | indent 6 }}
   spec:
     affinity:
       nodeAffinity:
         requiredDuringSchedulingIgnoredDuringExecution:
           nodeSelectorTerms:
           - matchExpressions:
             - key: node.kubernetes.io/instance-type
               operator: In
               values:
                 - ecs.gn8v-tee.4xlarge
                 - ecs.gn8v-tee.6xlarge
                 - ecs.gn8v-tee-8x.16xlarge
                 - ecs.gn8v-tee-8x.48xlarge
     containers:
       - name: inference-service
         image: egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference:vllm0.5.4-deepgpu-llm24.7-pytorch2.4.0-cuda12.4-ubuntu22.04
         command:
           - bash
         args: ["-c", "vllm serve /tmp/model --port 8080 --host 0.0.0.0 --served-model-name qwen2.5-3b-instruct --device cuda --dtype auto"]
         ports:
           - containerPort: 8080
         resources:
           limits:
             nvidia.com/gpu: 1  # 为该容器申请1张GPU卡
         volumeMounts:
           - name: pvc-oss
             mountPath: "/tmp/model"
   
     volumes:
       - name: pvc-oss
         persistentVolumeClaim:
           claimName: pvc-oss
   
   EOF
   
   # 创建Helm Chart描述文件
   cat <<EOF > ./Chart.yaml
   apiVersion: v2
   name: vllm
   description: A test based on vllm for ack-cai
   type: application
   version: 0.1.0
   appVersion: "0.1.0"
   EOF
   
   # 创建空的Helm Chart变量文件values.yaml
   touch values.yaml
   
   
   

3. 编辑values.yaml文件，填入环境信息。

   请将<trustee-ip>替换为Trustee地址，并替换实际的OSS参数信息。

   caiOptions: |
     {
         "cipher-text-volume": "pvc-oss",
         "model-decryption-key-id" : "kbs:///default/aliyun/model-decryption-key",
         "trustee-address": "http://<trustee-ip>:8081/api"
     }
   oss:
     bucket: "conf-ai"                          # 替换为存放模型密文的OSS Bucket名称
     path: "/qwen2.5-3b-gocryptfs/"             # 替换为模型密文文件在OSS Bucket内的路径
     url: "https://oss-cn-beijing-internal.aliyuncs.com"   # 替换为OSS Endpoint
     akId: "xxxxx"                              # 替换为阿里云AK ID
     akSecret: "xxxxx"                          # 替换为阿里云AK Secret

4. 部署vLLM服务。

   helm install vllm . -n default

5. 检查Pod中是否成功注入了CAI组件的Sidecar容器。

   kubectl get pod cai-vllm -n default -o jsonpath='{range .status.initContainerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}{range .status.containerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}'

   预期输出中，展示如下5个容器，表明注入成功。等待容器均由PodInitializing变为Running时表明服务启动完成。

   cai-sidecar-attestation-agent   Running
   cai-sidecar-confidential-data-hub       Running
   cai-sidecar-tng Running
   cai-sidecar-cachefs     Running
   inference-service       Running

6. 获取并记录vLLM服务的访问地址。

   kubectl get service cai-vllm-svc -o jsonpath='http://{.status.loadBalancer.ingress[0].ip}:{.spec.ports[0].port}{"\n"}'

   预期输出中将返回一个类似格式的URL（<vllm-ip>:<port>）：

   http://182.XX.XX.225:8080

步骤六：安全访问推理服务

除服务端安全防护外，还需建立从客户端到服务端的端到端加密通信链路，保障推理数据在传输过程中的安全。此小节在客户端启动一个TNG安全网关，创建一个本地代理，自动加密所有发往vLLM服务的请求，并解密收到的响应。

执行环境：客户端环境，即任何需要调用vLLM推理服务的机器。

1. 在客户端中启动TNG网关，建立安全通信通道。

   TNG网关会在客户端创建一个本地代理，用于加密发往服务端的请求。

   请将<IP>替换为Trustee地址。

   docker run -d \
       --network=host \
       confidential-ai-registry.cn-shanghai.cr.aliyuncs.com/product/tng:2.2.4 \
       tng launch --config-content '
         {
           "add_ingress": [
             {
               "http_proxy": {
                 "proxy_listen": {
                   "host": "0.0.0.0",
                   "port": 41000
                 }
               },
               "encap_in_http": {},
               "verify": {
    "as_addr": "http://<trustee-ip>:8081/api/attestation-service/",
                 "policy_ids": [
                   "default"
                 ]
               }
             }
           ]
         }
   '

2. 通过TNG代理访问vLLM服务。

   将<vllm-ip>:<port>替换为此前获取的vLLM服务的访问地址。

   # 设置http_proxy环境变量
   export http_proxy=http://127.0.0.1:41000
   
   # 发送curl请求
   curl http://<vllm-ip>:<port>/v1/completions \
     -H "Content-type: application/json" \
     -d '{
       "model": "qwen2.5-3b-instruct",
       "prompt": "San Francisco is a",
       "max_tokens": 7,
       "temperature": 0
       }'

参考信息

{
  "cipher-text-volume": "pvc-oss",
  "model-decryption-key-id": "kbs:///default/aliyun/model-decryption-key",
  "trustee-address": "http://<trustee-ip>:8081/api",
  "aa-version": "1.3.1",
  "cdh-version": "1.3.1",
  "tng-version": "2.2.4",
  "cachefs-version": "1.0.7-2.6.1",
  "tdx-ra-enable": true,
  "gpu-ra-enable": true,
  "tng-http-secure-ports": [
    {
      "port": 8080
    }
  ]
}

"tng-http-secure-ports": [
  {
    "port": 8080,
    "allow-insecure-request-regexes": [
      "/api/builtin/.*"
    ]
  }
]