一键训练大模型及部署 GPU 共享推理服务

1. 执行以下命令，提交一个 Bloom 模型的微调训练任务。训练任务大概需要运行 8 分钟。

   arena submit pytorchjob \
     --name=bloom-sft \
     --gpus=2 \
     --image=registry.cn-hangzhou.aliyuncs.com/acs/deepspeed:v0.9.0-chat \
     --data=training-data:/model \
     --tensorboard \
     --logdir=/model/logs \
     "cd /model/DeepSpeedExamples/applications/DeepSpeed-Chat/training/step1_supervised_finetuning && bash training_scripts/other_language/run_chinese.sh /model/bloom-560m-sft"

   训练任务提交成功后，任务状态将显示 RUNNING 。

2. 执行以下命令，查看当前通过 Arena 提交的所有作业。

   arena list

   预期输出：

   NAME       STATUS   TRAINER     DURATION  GPU(Requested)  GPU(Allocated)  NODE
   bloom-sft  RUNNING  PYTORCHJOB  17m       2               2               192.168.XX.XX

3. 执行以下命令，获取作业详情。

   arena get bloom-sft

   预期输出：

   Name:        bloom-sft
   Status:      RUNNING
   Namespace:   default
   Priority:    N/A
   Trainer:     PYTORCHJOB
   Duration:    1m
   CreateTime:  2023-07-20 15:06:19
   EndTime:
   
   Instances:
     NAME                STATUS   AGE  IS_CHIEF  GPU(Requested)  NODE
     ----                ------   ---  --------  --------------  ----
     bloom-sft-master-0  Running  1m   true      2             cn-hangzhou.192.168.XX.XX
   
   Tensorboard:
     Your tensorboard will be available on:
     http://192.168.XX.XX:32560

   记录此处 GPU 节点名称 cn-hangzhou.192.168.XX.XX ，用于后续部署推理服务。同时，记录此处 Tensorboard 的 Web 服务地址 http://192.168.XX.XX:32560 ，此处端口号为32560 ，以您的输出显示为准。

4. 将上一步记录的端口号加入 GPU 实例的入方向安全组，例如 32560 。

5. 通过浏览器访问 Tensorboard 。在浏览器中输入 http://121.41.XX.XX:32560 ，此处将 IP地址替换为 GPU 节点公网 IP 。

6. 等待任务训练完成，大概需要 10 分钟，再次执行命令 arena get bloom-sft ，确认 status为 SUCCEEDED ，表明模型训练任务已经成功完成。

7. 执行以下命令，查看微调后的模型目录，确保模型文件正确生成。

   # 进入微调后的模型目录, training.log 为训练日志
   cd /mnt/bloom-560m-sft/
   # 目录内容如下
   .
   ├── config.json
   ├── merges.txt
   ├── pytorch_model.bin
   ├── training.log
   ├── tokenizer_config.json
   ├── tokenizer.json
   └── vocab.json

使用中文数据集对 bloom-560m 模型进行了监督微调，接下来可以通过 GPU 显存共享的能力，将多个推理服务部署在同一块 GPU 卡上以提高 GPU 的利用率。下文介绍如何使用 Arena ，将步骤一微调后的模型部署成推理服务。

1. 执行以下命令，开启 GPU 共享调度能力和显存隔离能力，替换下列节点为您的 GPU 节点名称。

   kubectl label node cn-hangzhou.192.168.XX.XX ack.node.gpu.schedule=cgpu

   如需关闭 GPU 共享调度能力，您可以将标签设置为 ack.node.gpu.schedule=default 。

2. 执行以下命令，查看集群 GPU 资源。

   arena top node

   预期输出：

   NAME                       IPADDRESS      ROLE    STATUS  GPUs(Allocated/Total)  GPU_MEMORY(Allocated/Total)  GPU_CORE(Allocated/Total)
   cn-hangzhou.192.168.xx.xx  121.41.XX.XX  <none>  Ready   0/2                    0.0/30.0 GiB                 __
   -----------------------------------------------------------------------------------------------------------
   Allocated/Total GPUs of nodes which own resource aliyun.com/gpu-mem In Cluster:
   0/2 (0.0%)

3. 执行以下命令，提交一个 bloom 的推理服务，部署 2 个副本，每个副本使用 6G 显存。

   arena serve custom \
     --name=bloom-infernece \
     --gpumemory=6 \
     --version=alpha \
     --replicas=2 \
     --restful-port=8080 \
     --data=training-data:/model \
     --image=registry.cn-hangzhou.aliyuncs.com/acs/djl-serving:v0.23.0 \
     "djl-serving -m /model/bloom-inference"

4. 查看提交的任务的详细信息。

   • 执行以下命令，查看 GPU 使用情况。

     arena top node

     预期输出：

     NAME                       IPADDRESS      ROLE    STATUS  GPUs(Allocated/Total)  GPU_MEMORY(Allocated/Total)  GPU_CORE(Allocated/Total)
     cn-hangzhou.192.168.xx.xx  101.x.x.x  <none>  Ready   0.8/2                  12.0/30.0 GiB                __
     -----------------------------------------------------------------------------------------------------------
     Allocated/Total GPUs of nodes which own resource aliyun.com/gpu-mem In Cluster:
     0.8/2 (40.0%)
     Allocated/Total GPU Memory of nodes which own resource aliyun.com/gpu-mem In Cluster:
     12.0/30.0 GiB(40.0%)

   • 执行以下命令，查看提交任务的详细信息。

     arena serve get bloom-infernece

     Pod 成功部署后，状态将变为 Running 。

     预期输出：

   • Name:       bloom-infernece
     Namespace:  default
     Type:       Custom
     Version:    alpha
     Desired:    2
     Available:  0
     Age:        3m
     Address:    172.16.xx.xx
     Port:       RESTFUL:8080
     
     Instances:
       NAME                                                   STATUS   AGE  READY  RESTARTS  GPU  NODE
       ----                                                   ------   ---  -----  --------  ---  ----
       bloom-infernece-alpha-custom-serving-866cfccd5b-h56pr  Running  27m  1/1    0         0.4  cn-hangzhou.192.168.xx.xx
       bloom-infernece-alpha-custom-serving-866cfccd5b-whndw  Running  27m  1/1    0         0.4  cn-hangzhou.192.168.xx.xx

     预期输出表明，两个推理服务的副本成功运行在同一张 GPU 卡上，同时记录此处的Address 172.16.xx.xx 。

等待推理服务启动后，在 GPU 节点上执行以下命令，在本地调用推理服务。将下列 IP 替换为上一步记录的 Address 地址。

curl -X POST http://172.16.xx.xx:8080/predictions/bloom_inference -H "Content-type: text/plain" -d "四川美食"

预期输出类似以下内容：

[
  {
    "generated_text":"四川美食有哪些？这届成都主会场包括开幕式、开幕式后主会场和主会场美食表演。开幕式期间，美食一条街会集中展示美食小吃。开幕式结束，成都国际会展中心将举办“"
  }
]