基于异构机密计算实例构建安全大语言模型推理环境

执行Gocryptfs加密

1. 安装用于加密模型的工具Gocryptfs （目前只支持使用默认参数进行加密的Gocryptfs v2.4.0 版本）。您可以选择以下任意一种方式进行安装：

   （推荐）方式一：直接下载预编译binary

   # 下载预编译Gocryptfs压缩包
   wget https://github.jobcher.com/gh/https://github.com/rfjakob/gocryptfs/releases/download/v2.4.0/gocryptfs_v2.4.0_linux-static_amd64.tar.gz
   
   # 解压并安装
   tar xf gocryptfs_v2.4.0_linux-static_amd64.tar.gz
   sudo install -m 0755 ./gocryptfs /usr/local/bin

   方式二：编译安装Gocryptfs

   ## 安装golang
   yum install go -y
   go env -w GO111MODULE=on
   go env -w GOPROXY=https://goproxy.cn,direct
   
   ## 安装 Gocryptfs
   git clone https://github.com/rfjakob/gocryptfs.git
   cd gocryptfs
   git checkout -b v2.4.0 v2.4.0
   ./build-without-openssl.bash
   sudo install -m 0755 ./gocryptfs /usr/local/bin

2. 创建Gocryptfs密钥文件，作为模型加密的密钥。在后续步骤中，您需要将该密钥上传到远程证明服务（Trustee）进行托管。

   在本方案中，使用alibaba@1688作为加密模型使用的密钥，密钥内容将存储在cachefs-password文件中。您也可以自定义密钥。

   cat << EOF > ~/cachefs-password
   alibaba@1688
   EOF

3. 使用已创建的密钥对模型进行加密。

   1. 配置明文模型的路径。

      说明

      在此处配置您刚才下载的明文模型所在路径，如果您有其他模型，请将其替换为目标模型的实际路径。

      PLAINTEXT_MODEL_PATH=~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/

   2. 使用Gocryptfs对模型目录树进行加密。

      加密完成后，模型将以密文形式存储在./cipher目录中。

      mkdir -p ~/mount
      cd ~/mount
      mkdir -p cipher plain
      
      # 安装Gocryptfs运行时依赖
      sudo yum install -y fuse
      
      # initialize gocryptfs
      cat ~/cachefs-password | gocryptfs -init cipher
      
      # mount to plain
      cat ~/cachefs-password | gocryptfs cipher plain
      
      # move AI model to ~/mount/plain
      cp -r ${PLAINTEXT_MODEL_PATH} ~/mount/plain

执行Sam加密

1. 首先下载并解压Sam加密模块。

   # 下载Sam加密模块压缩包
   wget https://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/rai/RAI_SAM_SDK_2.1.0-20240731.tgz
   
   # 解压Sam加密模块
   tar xvf RAI_SAM_SDK_2.1.0-20240731.tgz

2. 使用Sam加密模块加密模型。

   # 进入Sam加密模块的加密目录
   cd RAI_SAM_SDK_2.1.0-20240731/tools
   
   # 加密模型
   ./do_content_packager.sh <模型目录> <明文密钥> <密钥ID>

   其中：

   • <模型目录>：待加密模型所在的目录，可以使用相对路径或绝对路径，例如~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/。

   • <明文密钥>：自定义的加密密钥，有效长度为4 ~ 128字节，例如alibaba@1688。明文密钥是需要上传到远程证明服务（Trustee）的模型解密密钥。

   • <密钥ID>：自定义的密钥标识，有效长度为8 ~ 48字节，例如LD_Demo_0001。

   加密结束后，模型将以密文形式存储在当前路径的<密钥ID>目录中。

通过docker部署推理服务

1. 使用配置文件启动CAI服务

   您需要通过上一步中配置的文件，启动CAI服务，用于完成对加密模型的解密。这将会在host环境中MODEL_MOUNT_POINT指定的路径/tmp/model处挂载解密后的明文模型数据，您的推理服务程序（如vLLM）可以从该路径加载模型。

   1. 运行如下命令，以启动CAI服务。

      cd ~
      docker compose -f /opt/alibaba/cai-docker/docker-compose.yml --env-file ./cai.env up -d --wait

      回显结果示例如下，说明CAI服务启动成功。

      [+] Running 5/5
       ✔ Container cai-docker-oss-1                    Healthy                                                                                                                                                                     44.7s 
       ✔ Container cai-docker-attestation-agent-1      Healthy                                                                                                                                                                     44.7s 
       ✔ Container cai-docker-tng-1                    Healthy                                                                                                                                                                     44.7s 
       ✔ Container cai-docker-confidential-data-hub-1  Healthy                                                                                                                                                                     44.7s 
       ✔ Container cai-docker-cachefs-1                Healthy

   2. 查看解密后的模型文件

      如需查看解密后的模型文件，您可以运行如下命令。

      ls -la -R /tmp/model

      回显结果示例如下，说明模型文件解密成功。

      

2. 运行如下命令，启动vLLM推理服务。

   docker run --rm \
       --net host \
       -v /tmp/model:/tmp/model \
       --gpus all \
       egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference:vllm0.5.4-deepgpu-llm24.7-pytorch2.4.0-cuda12.4-ubuntu22.04 \
       python3 -m vllm.entrypoints.openai.api_server --model=/tmp/model --trust-remote-code --port 8080

   回显信息示例如下，说明推理服务启动成功。

   Loading safetensors checkpoint shards:   0% Completed | 0/2 [00:00<?, ?it/s]
   Loading safetensors checkpoint shards:  50% Completed | 1/2 [00:01<00:01,  1.07s/it]
   Loading safetensors checkpoint shards: 100% Completed | 2/2 [00:01<00:00,  1.21it/s]
   Loading safetensors checkpoint shards: 100% Completed | 2/2 [00:01<00:00,  1.16it/s]
   
   INFO 03-04 07:49:06 model_runner.py:732] Loading model weights took 5.7915 GB
   INFO 03-04 07:49:08 gpu_executor.py:102] # GPU blocks: 139032, # CPU blocks: 7281
   INFO 03-04 07:49:08 model_runner.py:1024] Capturing the model for CUDA graphs. This may lead to unexpected consequences if the model is not static. To run the model in eager mode, set 'enforce_eager=True' or use '--enforce-eager' in the CLI.
   INFO 03-04 07:49:08 model_runner.py:1028] CUDA graphs can take additional 1~3 GiB memory per GPU. If you are running out of memory, consider decreasing `gpu_memory_utilization` or enforcing eager mode. You can also reduce the `max_num_seqs` as needed to decrease memory usage.
   INFO 03-04 07:49:18 model_runner.py:1225] Graph capturing finished in 9 secs.
   WARNING 03-04 07:49:18 serving_embedding.py:171] embedding_mode is False. Embedding API will not work.
   INFO 03-04 07:49:18 launcher.py:14] Available routes are:
   INFO 03-04 07:49:18 launcher.py:22] Route: /openapi.json, Methods: HEAD, GET
   INFO 03-04 07:49:18 launcher.py:22] Route: /docs, Methods: HEAD, GET
   INFO 03-04 07:49:18 launcher.py:22] Route: /docs/oauth2-redirect, Methods: HEAD, GET
   INFO 03-04 07:49:18 launcher.py:22] Route: /redoc, Methods: HEAD, GET
   INFO 03-04 07:49:18 launcher.py:22] Route: /health, Methods: GET
   INFO 03-04 07:49:18 launcher.py:22] Route: /tokenize, Methods: POST
   INFO 03-04 07:49:18 launcher.py:22] Route: /detokenize, Methods: POST
   INFO 03-04 07:49:18 launcher.py:22] Route: /v1/models, Methods: GET
   INFO 03-04 07:49:18 launcher.py:22] Route: /version, Methods: GET
   INFO 03-04 07:49:18 launcher.py:22] Route: /v1/chat/completions, Methods: POST
   INFO 03-04 07:49:18 launcher.py:22] Route: /v1/completions, Methods: POST
   INFO 03-04 07:49:18 launcher.py:22] Route: /v1/embeddings, Methods: POST
   INFO:     Started server process [1]
   INFO:     Waiting for application startup.
   INFO:     Application startup complete.
   INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)

通过docker compose部署推理服务

1. 准备docker-compose.yml文件。

   运行如下命令，打开docker-compose.yml文件。

   vi ~/docker-compose.yml

   按i键进入插入模式，粘贴如下内容到docker-compose.yml文件中。

   include:
     - path: /opt/alibaba/cai-docker/docker-compose.yml
       env_file: ./cai.env
   
   services:
     inference:
       image: egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference:vllm0.5.4-deepgpu-llm24.7-pytorch2.4.0-cuda12.4-ubuntu22.04
       volumes:
         - /tmp/model:/tmp/model:shared
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities: [gpu]
       network_mode: host
       init: true
       command: "python3 -m vllm.entrypoints.openai.api_server --model=/tmp/model/ --trust-remote-code --port 8080"
       depends_on:
         cachefs:
           condition: service_healthy
           restart: true

   按:wq键后按回车键，保存并退出编辑器。

   重要

   如果您打算修改docker-compose.yml来部署本文所介绍其他负载，您需要注意如下额外调整：

   • 使用include语句引入镜像中预装的CAI docker-compose.yml文件，且使用env_file指定CAI配置文件路径。

   • 您需要为vLLM服务容器添加depends_on条件，确保其在cachefs容器之后启动。

   • 解密后到模型目录将被挂载到host环境中MODEL_MOUNT_POINT指定的路径，因此需对vLLM服务容器添加对应的volumes条目，从而将模型目录共享到推理服务容器内

2. 运行vLLM推理服务

   运行如下命令，以运行vLLM推理服务。

   docker compose up -d

   回显结果示例如下，说明推理服务启动成功。

   [+] Running 6/6
    ✔ Container root-attestation-agent-1      Healthy                                                                                                                                                                            3.6s 
    ✔ Container root-oss-1                    Healthy                                                                                                                                                                           10.2s 
    ✔ Container root-tng-1                    Healthy                                                                                                                                                                           44.2s 
    ✔ Container root-confidential-data-hub-1  Healthy                                                                                                                                                                           34.2s 
    ✔ Container root-cachefs-1                Healthy                                                                                                                                                                           54.7s 
    ✔ Container root-inference-1              Started

按照协议类型配置代理

export http_proxy=http://127.0.0.1:41000
export https_proxy=http://127.0.0.1:41000
export ftp_proxy=http://127.0.0.1:41000
export rsync_proxy=http://127.0.0.1:41000

为所有协议配置代理

export all_proxy=http://127.0.0.1:41000