使用抢占式实例节省大模型微调成本

成本对比

假设训练共需12小时，抢占式实例单价为3.5/h，按量实例单价10/h，成本对比如下。

搭建流程

1. 构建包含训练基础环境的实例镜像。

   该镜像将作为伸缩组实例的启动镜像，内置开机自动训练脚本，确保新实例能够快速恢复训练任务，实现自动化运行。

2. 创建并配置伸缩组。

   伸缩组负责在实例中断或回收后，自动创建新的抢占式或按量实例，确保训练任务持续进行。

3. 启动训练任务。

   启动伸缩组后自动触发扩容，创建实例以开始训练任务，并按照预先设定的自动化机制工作。

4. 模拟中断回收（验证）。

   手动释放实例以模拟中断或资源回收场景，验证是否能启动新实例并自动恢复训练任务，确保任务的稳定性和可靠性。

1.1 创建实例并构建基础环境

该实例会作为模板实例，产出镜像，后续伸缩组会自动以该镜像创建新实例。

1. 前往ECS控制台创建GPU实例。

   首先需要创建一个按量的GPU实例用于基础环境的搭建。本文以在杭州地域的可用区J创建规格为ecs.gn7i-c8g1.2xlarge的实例为例。配置步骤如图所示：

   ①：付费类型。按量付费。 ②：地域。华东1（杭州）。 ③④：网络及可用区。选择专有网络和交换机，若没有可按照界面提示创建。

   ⑤⑥：选择实例规格。ecs.gn7i-c8g1.2xlarge。

   ⑦⑧⑨：镜像。Ubuntu 22.04 64位。 ⑩：安装GPU驱动。版本：CUDA版本 12.4.1、Driver版本 550.127.08、CUDNN版本 9.2.0.82。

   ⑪：系统盘 > 容量。60GiB。

   ⑫⑬⑭：分配公网IPv4地址使实例可以访问公网，下载模型文件。带宽计费模式选择按使用流量。带宽峰值选择100Mbps。 ⑮⑯⑰：新建普通安全组，端口至少放开SSH（TCP：22）和ICMP（IPv4），便于后续远程连接实例。

   ⑱⑲⑳：登录凭证。用于后续登录实例。可根据需求选择密钥对或密码。根据界面提示完成设置。 ㉑：实例名称。设置便于记忆的实例名称，便于查找。本文以ess-lora-deepseek7b-template为例。

   完成配置后单击确认下单，等待实例创建完成。

2. 在实例创建完成后，连接实例并等待GPU驱动安装完成。

   1. 访问ECS控制台-实例。

   2. 找到上一步创建的实例，单击操作列下的远程连接，通过Workbench连接实例，并根据界面提示完成登录操作。

      若未找到实例，可能是当前地域与实例地域不符，可以在左上角切换地域。

      若实例处于停止状态，请刷新页面并等待实例启动。

      

   3. 连接实例后，等待GPU驱动安装完成。安装完成后，会提示您重新连接实例。

      若界面卡住，您可以尝试刷新页面，重新连接实例。

      

      看不到该页面&如何判断已经完成安装？

      在连接实例后没有出现该界面，可能是由于您的实例已经完成驱动安装操作。您可以通过使用以下命令确认是否已安装驱动。

      nvidia-smi

      若出现如下界面，则代表已经完成安装。

      

      如果未出现该界面，代表启动驱动未安装或存在问题，建议您重新创建新实例，并勾选安装 GPU 驱动。

      如需手动安装驱动，请参见在GPU计算型实例中手动安装Tesla驱动（Linux）。

3. 安装相关Python依赖。

   使用以下命令，安装训练相关依赖。

   本示例所选择的镜像为Ubuntu 22.04 64位，已经包含Python 3.10环境，因此不需要安装Python。

   # ubuntu 22.04镜像自带python 3.10，无需额外安装
   python3 -m pip install --upgrade pip
   # 切换为阿里云内网镜像源
   pip config set global.index-url http://mirrors.cloud.aliyuncs.com/pypi/simple/
   
   pip install modelscope==1.22.3
   pip install openai==1.61.0
   pip install tqdm==4.67.1
   pip install "vllm>=0.5.1" -U
   pip install "lmdeploy>=0.5,<0.6.5" -U --no-deps
   pip install autoawq -U --no-deps
   pip install auto_gptq optimum bitsandbytes -U
   pip install ms-swift[all]
   pip install timm -U
   pip install deepspeed==0.14.* -U
   pip install qwen_vl_utils decord librosa pyav icecream -U

在等待依赖安装时，可以点击右上角开启多屏终端，同时进行步骤1.2的操作。

1.2 创建对象存储的存储空间并挂载到实例

本步骤需要先在对象存储创建存储空间（Bucket），并将该存储空间作为额外的数据盘挂载到ECS实例，负责存储后续步骤下载的模型权重文件、训练数据集以及训练过程中产生的Checkpoint。

1. 前往对象存储控制台创建Bucket。

   关键配置项说明如下，未提及配置项保持默认。

   ②：Bucket 名称。该Bucket名称在后续挂载存储空间时会用到。 ③：地域。选择有地域属性，地域需与ECS实例所在地域保持一致，本示例为华东1（杭州）。 ECS实例支持通过内网访问同地域的对象存储Bucket，内网访问不会产生流量费用，具体说明，请参见ECS实例通过OSS内网地址访问OSS资源。

2. 创建并绑定实例RAM角色。

   实例RAM角色用于授权ECS实例访问您创建的对象存储Bucket。创建并绑定实例RAM角色的操作流程如下：

   1. 在控制台创建实例RAM角色。关键配置项说明如下。

      ②：信任主体类型。选择云服务。 ③：信任主体名称。选择云服务器 ECS，代表该角色需要授权给ECS实例。 ④：单击确定后，根据界面提示设置实例RAM角色的名称。

   2. 在控制台创建以下自定义权限策略。

      ③：该策略代表某个Bucket的全部权限。权限策略脚本内容如下。 重要 设置以下自定义策略时，请将<bucket_name>替换为您所创建的存储空间的Bucket 名称。 { "Version": "1", "Statement": [ { "Effect": "Allow", "Action": "oss:*", "Resource": [ "acs:oss:*:*:<bucket_name>", "acs:oss:*:*:<bucket_name>/*" ] } ] } 完成配置后单击确定，根据界面提示设置权限策略名称。

   3. 在控制台为实例RAM角色授权。

      ⑥：授权主体。选择之前创建的实例RAM角色。 ⑦：权限策略。选择之前创建的自定义权限策略。 完成配置后单击确认新增授权。

   4. 前往ECS控制台，将实例RAM角色授予给实例。

      若未找到实例，可能是当前地域与实例地域不符，可以在左上角切换地域。

      

3. 将存储空间挂载到ECS实例。

   1. 连接步骤1.1创建的实例，执行以下命令，安装ossfs工具。

      wget https://gosspublic.alicdn.com/ossfs/ossfs_1.91.5_ubuntu22.04_amd64.deb
      apt-get update
      DEBIAN_FRONTEND=noninteractive apt-get install gdebi-core
      DEBIAN_FRONTEND=noninteractive gdebi -n ossfs_1.91.5_ubuntu22.04_amd64.deb

   2. 执行以下命令完成挂载操作。需注意替换命令中的以下内容：

      • <bucket_name>：替换为您所创建的存储空间的Bucket 名称。

        查看Bucket名称

        前往对象存储控制台，查找您创建的Bucket。

      • <ecs_ram_role>：替换为您所创建的实例RAM角色名称。

        查看实例RAM角色名称

        前往ECS控制台，找到绑定了实例RAM角色的实例，根据如图所示步骤进入授予/收回RAM角色页面

        。在该页面可以查看实例已经绑定的实例RAM角色。

        若未找到实例，可能是当前地域与实例地域不符，可以在左上角切换地域。

        

      • <internal_endpoint>：替换为oss-cn-hangzhou-internal.aliyuncs.com。

        重要

        本示例所创建的Bucket地域为华东1（杭州），故使用oss-cn-hangzhou-internal.aliyuncs.com作为VPC内网Endpoint。

        您使用的对象存储Bucket地域不在杭州，如何获取Endpoint地址。

        若您创建对象存储Bucket地域不在杭州，请获取VPC内网Endpoint地址后，替换<internal_endpoint>的值。

        

      # 需替换对应的Bucket名称、内网接入点、实例RAM角色
      BUCKET_NAME="<bucket_name>"
      ECS_RAM_ROLE="<ecs_ram_role>"
      INTERNAL_ENDPOINT="<internal_endpoint>"
      
      # Bucket挂载目录
      BUCKET_MOUNT_PATH="/mnt/oss-data"
      
      # 1. 挂载前备份fstab文件
      cp /etc/fstab /etc/fstab.bak
      
      # 2. 创建被挂载的目录
      mkdir $BUCKET_MOUNT_PATH
      # 3. 挂载Bucket到实例
      ossfs $BUCKET_NAME $BUCKET_MOUNT_PATH -ourl=$INTERNAL_ENDPOINT -oram_role=http://100.100.100.200/latest/meta-data/ram/security-credentials/$ECS_RAM_ROLE
      # 4. 设置开机自动挂载
      echo "ossfs#$BUCKET_NAME $BUCKET_MOUNT_PATH fuse _netdev,url=http://$INTERNAL_ENDPOINT,ram_role=http://100.100.100.200/latest/meta-data/ram/security-credentials/$ECS_RAM_ROLE,allow_other 0 0" | sudo tee -a /etc/fstab

4. （验证）测试存储空间是否可用。

   1. 在对象存储的Bucket中上传任意文件。

      

   2. 在实例中输入以下命令，测试是否可以在目录看到对象存储中的文件。

      ls /mnt/oss-data/

      如果可以看到，则代表挂载成功。

      

   为什么在对象存储Bucket中看不到这个文件？

   可能是挂载失败造成的，请按照以下思路排查。

   1. ECS实例是否与对象存储Bucket在相同地域，挂载命令中的<internal_endpoint>是否已经正确替换为Bucket的VPC内网的Endpoint地址。

   2. 检查挂载命令中的<bucket_name>是否已经正确替换为对象存储Bucket的名称。

   3. 尝试重新授予实例RAM角色给ECS实例，同时检查挂载命令中的<ecs_ram_role>是否与授予的实例RAM角色名称一致。

   4. 使用正确的替换以下命令中的<bucket_name>、<internal_endpoint>、<ecs_ram_role>的内容，并执行重新挂载命令。

      # 需替换对应的Bucket名称、内网接入点、实例RAM角色
      BUCKET_NAME="<bucket_name>"
      ECS_RAM_ROLE="<ecs_ram_role>"
      INTERNAL_ENDPOINT="<internal_endpoint>"
      
      # Bucket挂载目录
      BUCKET_MOUNT_PATH="/mnt/oss-data"
      
      # 1. 尝试解除挂载
      umount $BUCKET_MOUNT_PATH
      
      # 2. 从备份中恢复/etc/fstab文件
      cp /etc/fstab.bak /etc/fstab
      
      # 3. 重新挂载Bucket到实例
      ossfs $BUCKET_NAME $BUCKET_MOUNT_PATH -ourl=$INTERNAL_ENDPOINT -oram_role=http://100.100.100.200/latest/meta-data/ram/security-credentials/$ECS_RAM_ROLE
      # 4. 重新设置开机自动挂载
      echo "ossfs#$BUCKET_NAME $BUCKET_MOUNT_PATH fuse _netdev,url=http://$INTERNAL_ENDPOINT,ram_role=http://100.100.100.200/latest/meta-data/ram/security-credentials/$ECS_RAM_ROLE,allow_other 0 0" | sudo tee -a /etc/fstab

   4. 检查是否可以在挂载的目录（/mnt/oss-data）下看到对象存储中的文件。

      ls /mnt/oss-data/

1.3 准备模型与数据集

本文使用的模型权重文件与数据集均从魔搭社区下载，连接实例后，按照以下步骤操作。将模型与数据集下载到对象存储Bucket所挂载的目录，并等待所有文件下载完成。

1. 下载数据集

   # Bucket挂载目录
   BUCKET_MOUNT_PATH="/mnt/oss-data"
   
   # 从魔搭社区下载微调数据集
   # 使用步骤1.1中安装的modelscope工具
   modelscope download --dataset swift/self-cognition --local_dir $BUCKET_MOUNT_PATH/self-cognition
   modelscope download --dataset AI-ModelScope/alpaca-gpt4-data-zh --local_dir $BUCKET_MOUNT_PATH/alpaca-gpt4-data-zh
   modelscope download --dataset AI-ModelScope/alpaca-gpt4-data-en --local_dir $BUCKET_MOUNT_PATH/alpaca-gpt4-data-en

   若进度卡住可以多次点击回车。

2. 下载模型权重文件

   重要

   由于模型权重文件过大，若下载失败，或提示please try again，请重试该命令恢复下载。

   # Bucket挂载目录
   BUCKET_MOUNT_PATH="/mnt/oss-data"
   
   # 从魔搭社区下载DeepSeek-R1-Distill-Qwen-7B模型
   modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local_dir $BUCKET_MOUNT_PATH/DeepSeek-R1-Distill-Qwen-7B

   若进度卡住可以多次点击回车。

3. 测试模型权重文件是否有效

   在下载完成后，您可以在命令行执行以下命令，使用模型进行推理测试，测试模型权重文件是否完整。

   # Bucket挂载目录
   BUCKET_MOUNT_PATH="/mnt/oss-data"
   
   CUDA_VISIBLE_DEVICES=0 swift infer \
       --model $BUCKET_MOUNT_PATH/DeepSeek-R1-Distill-Qwen-7B \
       --stream true \
       --infer_backend pt \
       --max_new_tokens 2048

   如图所示，模型加载完成后，您可以与大模型进行对话。如果模型权重文件加载失败，请重新下载模型权重文件。

   

   测试完成后可输入exit退出对话。

1.4 编写自动训练脚本

1. 编写自动训练脚本。

   输入以下命令创建自动训练脚本，并授予可执行权限。本脚本包含自动从最新Checkpoint恢复训练的以及判断训练完成的功能。

   # 创建自动训练脚本
   cat <<EOF > /root/train.sh
   #!/bin/bash
   
   # Bucket挂载目录
   BUCKET_MONTH_PATH="/mnt/oss-data"
   
   # 模型权重文件及数据集存储目录
   MODEL_PATH="\$BUCKET_MONTH_PATH/DeepSeek-R1-Distill-Qwen-7B"
   DATASET_PATH="\$BUCKET_MONTH_PATH/alpaca-gpt4-data-zh#500 \$BUCKET_MONTH_PATH/alpaca-gpt4-data-en#500 \$BUCKET_MONTH_PATH/self-cognition#500"
   
   # 设置输出目录
   OUTPUT_DIR="\$BUCKET_MONTH_PATH/output"
   mkdir -p "\$OUTPUT_DIR"
   
   # 判断已经完成训练，无需操作的逻辑
   if [ -f "\$OUTPUT_DIR/logging.jsonl" ]; then
       last_line=\$(tail -n 1 "\$OUTPUT_DIR/logging.jsonl")
       if echo "\$last_line" | grep -q "last_model_checkpoint" && echo "\$last_line" | grep -q "best_model_checkpoint"; then
           echo "Training already completed. Exiting."
           exit 0
       fi
   fi
   
   # 初始化恢复参数
   RESUME_ARG=""
   
   # 查找最新检查点
   LATEST_CHECKPOINT=\$(ls -dt \$OUTPUT_DIR/checkpoint-* 2>/dev/null | head -1)
   
   if [ -n "\$LATEST_CHECKPOINT" ]; then
       RESUME_ARG="--resume_from_checkpoint \$LATEST_CHECKPOINT"
       echo "Resume training from: \$LATEST_CHECKPOINT"
   else
       echo "No checkpoint found. Starting new training."
   fi
   
   # 启动训练命令
   CUDA_VISIBLE_DEVICES=0 swift sft \\
       --model \$MODEL_PATH \\
       --train_type lora \\
       --dataset \$DATASET_PATH \\
       --torch_dtype bfloat16 \\
       --num_train_epochs 1 \\
       --per_device_train_batch_size 1 \\
       --per_device_eval_batch_size 1 \\
       --learning_rate 1e-4 \\
       --lora_rank 8 \\
       --lora_alpha 32 \\
       --target_modules all-linear \\
       --gradient_accumulation_steps 16 \\
       --eval_steps 50 \\
       --save_steps 10 \\
       --save_total_limit 5 \\
       --logging_steps 5 \\
       --max_length 2048 \\
       --output_dir "\$OUTPUT_DIR" \\
       --add_version False \\
       --overwrite_output_dir True \\
       --system 'You are a helpful assistant.' \\
       --warmup_ratio 0.05 \\
       --dataloader_num_workers 4 \\
       --model_author swift \\
       --model_name swift-robot \\
       \$RESUME_ARG
   EOF
   
   # 授予可执行权限
   chmod +x /root/train.sh

   测试脚本是否可以正常执行

   使用以下命令测试该脚本是否可以正常运行。

   ./train.sh

   如图所示，若执行命令后，模型可以正常加载，并正常开始训练，证明模型文件正确且依赖完整，按CTRL + C退出训练即可。

   

   若不能正常执行，请重新安装步骤1.1中的Python依赖，并重新下载步骤1.3中的权重以及数据集文件。

2. 创建Linux服务，并配置开机自启动。

   输入以下命令创建服务，并配置训练脚本开机自启动。

   # 创建日志存储目录
   mkdir -p /root/train-service-log
   
   # 编写Service配置文件
   cat <<EOF > /etc/systemd/system/train.service
   [Unit]
   Description=Train AI Model Script
   After=network.target local-fs.target remote-fs.target
   Requires=local-fs.target remote-fs.target
   
   [Service]
   ExecStart=/root/train.sh
   WorkingDirectory=/root/
   User=root
   Environment="PATH=/usr/bin:/usr/local/bin"
   Environment="CUDA_VISIBLE_DEVICES=0"
   StandardOutput=append:/root/train-service-log/train.log
   StandardError=append:/root/train-service-log/train_error.log
   
   [Install]
   WantedBy=multi-user.target
   EOF
   
   # 重新加载systemd配置
   systemctl daemon-reload
   # 配置train.service服务开机自启动
   systemctl enable train.service

   命令执行完成返回如下内容：

   

1.5 构建镜像

在完成前面所有步骤后，需要从完成配置的实例构建自定义镜像，后续在扩容时，可以直接使用该镜像作为实例的启动镜像，无需重新安装相关依赖等操作。

1. 访问ECS控制台-实例。

2. 根据以下步骤说明创建镜像。

   

3. 等待镜像创建完成。镜像创建大概需要5分钟左右的时间，您可以在ECS控制台-镜像查看您的镜像创建进度。

   

2.1 创建伸缩组

首先需要创建伸缩组，操作步骤如下。

2.2 创建伸缩配置

伸缩配置主要用于定义伸缩组中实例的规格、镜像等信息。完成该配置后，伸缩组会自动按照该配置定义的实例信息，创建新实例。在创建伸缩配置页面，完成以下配置：

创建伸缩配置后，根据界面提示启用伸缩配置并启动伸缩组。

• 接入云监控，感知中断回收并响应

  在生产环境中应用该方案，建议在训练代码中接入云监控，感知并响应抢占式实例中断事件，在中断回收前5分钟保存Checkpoint文件，以减少恢复训练时的进度损失。改良后的架构如下：

  

• 建立完善的任务恢复机制

  本文示例中恢复训练时，会自动从最新的Checkpoint恢复，但不会检测其有效性。在实际应用中，建议建立异常检测机制，以排除无效Checkpoint，并自动从最新的有效Checkpoint恢复训练。

• 完善训练任务执行结束的操作

  您可以在训练代码中补充训练结束的判断逻辑，在训练结束时使用CLI或SDK等方式调用伸缩组的API，将期望实例数修改为0，伸缩组会自动根据期望实例数释放多余实例，避免资源浪费造成的额外开支。

  此外，还可以在任务完成时，向云监控上报自定义事件，将训练执行结果以邮件、短信、钉钉机器人等方式通知到您。

• 使用效率更高的OSFS存储模型与Checkpoint文件

  训练大参数量模型时，对象存储可能成为系统瓶颈，建议使用高吞吐、低延迟的CPFS替代对象存储作为文件系统挂载，以提高系统整体效率。

• 配置多可用区交换机，提高抢占式实例的使用概率

  仅配置单个可用区交换机时，伸缩组仅能从一个可用区创建实例，容易因库存不足导致扩容失败。建议配置多个可用区的交换机，在抢占式实例被回收时，系统会自动尝试从其他可用区创建新的抢占式实例，有效提高抢占式实例的使用概率。