基于异构机密计算实例构建支持安全度量的大语言模型推理环境

步骤一：创建异构机密计算实例

aliyun ecs RunInstances \
  --Region cn-beijing \
  --ZoneId cn-beijing-l \
  --SystemDisk.Category cloud_essd \
  --ImageId 'aliyun_3_x64_20G_alibase_20250117.vhd' \
  --InstanceType 'ecs.gn8v-tee.4xlarge' \
  --SecurityGroupId 'sg-[SecurityGroupId]' \
  --VSwitchId 'vsw-[VSwitchID]' \
  --KeyPairName [KEY_PAIR_NAME] \

步骤二：构建TDX远程证明环境

TDX Report是由CPU硬件直接生成的代表了TDX实例身份的数据结构，其包含了TDX实例的属性（ATTRIBUTES）、动态度量值（RTMR）、TCB SVN等关键信息，并以密码学方法保护其完整性。更多信息，请参见Intel TDX Module。

1. 导入阿里云机密计算yum软件源。

   • 公网地址格式：https://enclave-[Region-ID].oss-[Region-ID].aliyuncs.com/repo/alinux/enclave-expr.repo。

   • VPC内网地址格式：https://enclave-[Region-ID].oss-[Region-ID]-internal.aliyuncs.com/repo/alinux/enclave-expr.repo。

     请将上述地址中的[Region-ID]替换为TDX实例所在地域的ID。当前仅支持在华北2（北京）地域创建TDX实例，华北2（北京）地域中的VPC内网导入示例：

     region="cn-beijing"
     
     sudo yum install -y yum-utils
     sudo yum-config-manager --add-repo https://enclave-${region}.oss-${region}-internal.aliyuncs.com/repo/alinux/enclave-expr.repo

2. 安装TDX远程证明所需依赖的包。

   sudo yum install -y gcc gcc-c++ make openssl-devel git jq
   sudo yum install -y tdx-quote-generation-sample tee-appraisal-tool libsgx-dcap-ql-devel libsgx-dcap-quote-verify-devel libsgx-dcap-default-qpl-devel tdx-quote-verification-sample

3. 配置阿里云TDX远程证明服务。

   配置/etc/sgx_default_qcnl.conf文件中的PCCS_URL，当前仅支持将PCCS_URL指向阿里云华北2（北京）的DCAP服务。

   sudo sed -i.$(date "+%m%d%y") 's|PCCS_URL=.*|PCCS_URL=https://sgx-dcap-server.cn-beijing.aliyuncs.com/sgx/certification/v4/|' /etc/sgx_default_qcnl.conf

步骤三：安装Ollama

1. 使用Workbench工具以SSH协议登录Linux实例。

2. 运行如下命令，安装Ollama。

   curl -fsSL https://ollama.com/install.sh | sh

   说明

   上述脚本为Ollama官方提供的安装脚本，如果在安装过程中因网络问题导致安装失败，您可以参考Ollama官网，选择其他安装方式以完成Ollama的安装，具体操作，请参见ollama安装指南。

步骤四：通过Ollama下载并运行DeepSeek-R1

因模型文件较大，因此下载耗时较长，建议您使用tmux工具来保持会话，防止下载操作异常中断。

1. 安装tmux工具。

   运行如下命令，安装tmux工具。

   sudo yum install -y tmux

2. 通过Ollama下载并运行DeepSeek-R1。

   运行如下命令，创建一个tmux会话，并在tmux会话中通过Ollama下载运行DeepSeek-R1模型。

   # 为tmux创建一个名称为run-deepseek的会话
   tmux new -s "run-deepseek"
   # 在tmux会话中下载并运行deepseek-r1模型
   ollama run deepseek-r1:70b

   回显信息示例如下，表明模型下载完成并启动成功，您可以输入/bye以退出模型交互流程。

   ......
   verifying sha256 digest 
   writing manifest 
   success 
   >>> 
   >>> Send a message (/? for help)

3. （条件可选）重新连接tmux会话。

   如果您需要在网络连接断开后重新恢复tmux会话，请运行如下命令。

   tmux attach -t run-deepseek

步骤五：编译Open WebUI

如需Open WebUI支持基于TDX的安全度量服务，您需要下载TDX安全度量插件，并基于Open WebUI源码手动编译Open WebUI，以使其支持基于TDX的安全度量服务。具体操作步骤如下。

1. 安装所需的依赖软件及环境

   1. 安装Node.js。

      运行如下命令，安装Node.js。

      sudo yum install -y nodejs

      说明

      如果使用包管理器安装nodejs出现问题，可以尝试先安装npm模块管理器，并使用npm安装nodejs指定版本。

      # 安装npm模块管理器
      sudo yum install -y npm
      # 使用npm安装nodejs指定版本
      sudo npm install 20.18.1

   2. 安装Miniforge 3并配置其环境变量。

      运行如下命令，安装Miniforge 3，并配置其环境变量，以便管理open-webui虚拟环境。

      # 获取Miniforge3安装包
      wget https://github.com/conda-forge/miniforge/releases/download/24.11.3-2/Miniforge3-24.11.3-2-Linux-x86_64.sh
      # 使用非交互式方式安装miniforge3至/home/ecs-user/miniforge3目录
      bash Miniforge3-24.11.3-2-Linux-x86_64.sh -bu -p /home/ecs-user/miniforge3
      # 设置Miniforge3的环境变量
      export PATH="/home/ecs-user/miniforge3/bin:$PATH"

   3. 初始化Conda并验证其版本信息。

      运行如下命令，完成Conda初始化并验证其版本信息。

      # 初始化 Conda
      conda init
      source ~/.bashrc
      
      # 验证版本信息
      conda --version

2. 手动编译Open WebUI。

   1. 下载TDX安全度量插件。

      运行如下命令，下载TDX安全度量插件并切换至v1.2分支。

      cd /home/ecs-user
      git clone https://github.com/intel/confidential-computing-zoo.git
      git config --global --add safe.directory /home/ecs-user/confidential-computing-zoo
      cd confidential-computing-zoo
      git checkout v1.2

   2. 拉取Open WebUI源码。

      运行如下命令，拉取Open WebUI源码并切换至v0.5.20分支。

      cd /home/ecs-user
      git clone https://github.com/open-webui/open-webui.git
      
      # 切换至tag:v0.5.20分支
      git config --global --add safe.directory /home/ecs-user/open-webui
      cd /home/ecs-user/open-webui
      git checkout v0.5.20
      
      # 合入CCZoo提供的patch，该patch增加了open-webui对TDX远程认证相关的功能
      cd /home/ecs-user
      cp /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/open-webui-patch/v0.5.20-feature-cc-tdx-v1.0.patch .
      git apply --ignore-whitespace --directory=open-webui/ v0.5.20-feature-cc-tdx-v1.0.patch

   3. 创建open-webui环境并激活。

      运行如下命令，创建open-webui环境并激活，用于运行编译后的Open WebUI环境。

      conda create --name open-webui python=3.11
      conda activate open-webui

   4. 安装 "获取TDX Quote" 插件。

      cd /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/tdx_measurement_plugin/
      pip install Cython
      python setup.py install

      上述命令执行完成后，运行如下命令，验证安装是否正常。回显信息无报错，表明安装成功。

      python3 -c "import quote_generator"

   5. 编译Open WebUI。

      # 安装依赖
      cd /home/ecs-user/open-webui/
      # 配置npm源
      npm config set registry http://registry.npmmirror.com
      sudo npm install
      # 编译
      sudo npm run build

      编译完成后，运行如下命令，复制生成的build文件夹至backend目录并重命名为frontend。

      rm -rf ./backend/open_webui/frontend
      cp -r build ./backend/open_webui/frontend

      说明

      此时，阿里云远程证明服务已成功配置在编译好的Open WebUI中。您可以在/home/ecs-user/open-webui/external/acs-attest-client/index.js文件中找到相关配置信息。

   6. 配置Open WebUI后端服务启动文件。

      运行如下命令，为Open WebUI后端服务配置启动文件，并为其添加可执行权限。

      tee /home/ecs-user/open-webui/backend/dev.sh << 'EOF'
      #设置服务地址端口，默认端口为 8080
      PORT="${PORT:-8080}"
      uvicorn open_webui.main:app --port $PORT --host 0.0.0.0 --forwarded-allow-ips '*' --reload
      EOF
      
      # 为启动文件添加可执行权限
      chmod +x /home/ecs-user/open-webui/backend/dev.sh

   7. 安装Open WebUI运行所需的依赖库。

      cd /home/ecs-user/open-webui/backend/
      pip install -r requirements.txt -U
      conda deactivate

步骤六：运行Open WebUI并验证TDX认证信息

1. 运行大模型，并启动Open WebUI服务。

   1. （条件可选）如果Ollama服务未运行，您可以通过运行如下命令，启动Ollama服务。

      ollama serve

   2. 运行如下命令，使用Ollama运行DeepSeek-R1模型。

      ollama run deepseek-r1:70b

   3. 运行如下命令，激活open-webui虚拟环境。

      conda activate open-webui

   4. 运行如下命令，启动Open WebUI后端服务。

      cd /home/ecs-user/open-webui/backend && ./dev.sh

      回显信息示例如下，表明Open WebUI后端服务启动成功。

      ......
      INFO  [open_webui.env] Embedding model set: sentence-transformers/all-MiniLM-L6-v2
      /root/miniforge3/envs/open-webui/lib/python3.12/site-packages/pydub/utils.py:170: RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work
        warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
      WARNI [langchain_community.utils.user_agent] USER_AGENT environment variable not set, consider setting it to identify your requests.
      
       ██████╗ ██████╗ ███████╗███╗   ██╗    ██╗    ██╗███████╗██████╗ ██╗   ██╗██╗
      ██╔═══██╗██╔══██╗██╔════╝████╗  ██║    ██║    ██║██╔════╝██╔══██╗██║   ██║██║
      ██║   ██║██████╔╝█████╗  ██╔██╗ ██║    ██║ █╗ ██║█████╗  ██████╔╝██║   ██║██║
      ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║    ██║███╗██║██╔══╝  ██╔══██╗██║   ██║██║
      ╚██████╔╝██║     ███████╗██║ ╚████║    ╚███╔███╔╝███████╗██████╔╝╚██████╔╝██║
       ��═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝     ╚══╝╚══╝ ╚══════╝╚═════╝  ╚═════╝ ╚═╝
      
      
      v0.5.20 - building the best open-source AI user interface.
      
      https://github.com/open-webui/open-webui

2. 通过浏览器访问Open WebUI服务。

   1. 添加安全组访问放行规则。

      在您的异构机密计算实例的安全组中，添加允许客户端访问8080端口的规则。具体操作，请参见添加安全组规则。

   2. 通过浏览器访问Open WebUI服务。

      打开本地浏览器访问如下地址：http://{ip_address}:{port}，请根据具体情况替换对应的参数。

      • {ip_address}：Open WebUI所在实例的公网IP地址。

      • {port}：默认端口号为8080。

      如果远程证明成功，对话框中的第一个图标上会出现绿色标记，如下图所示。否则标记显示为红色。

      

      说明

      每次点击New Chat按钮后，后端服务会自动获取TDX 机密计算环境的Quote data发送至远程证明服务并返回认证结果。初始状态下，此图标显示红色。表示远程证明未完成或失败，远程证明成功后显示绿色。

3. 验证TDX认证信息。

   您可以将鼠标悬停在对话框中的第一个图标上，可以看到解析TDX Quote详细的认证信息。

   

   您可以通过浏览器开发者工具查看详细信息，显示结果示例如下。