一键训练大模型及部署GPU共享推理服务

1. 查找NAS实例的挂载点

1. 登录文件存储NAS控制台，在左侧导航栏选择文件系统 > 文件系统列表，在页面顶部选择NAS实例所在地域华东1（杭州）。

2. 在文件系统列表页面，找到系统自动ROS自动创建的NAS实例，即在文件系统 ID列包含ack-ai-nas的NAS文件系统。

   

3. 单击目标文件系统ID进入文件详情页面，单击挂载使用，在挂载点地址和挂载命令列，复制并记录此处的值供后续步骤使用。

   

2. 配置目标ai-test集群的存储卷PV和存储声明PVC

1. 登录容器服务管理控制台，在左侧导航栏选择集群。

2. 在集群列表页面，单击目标集群ai-test，然后在左侧导航栏，选择存储 > 存储卷。

3. 在存储卷页面右上方，单击创建。

4. 在创建存储卷对话框中，参考如下图示进行参数配置，选择挂载点域名为您上一步查询的挂载点地址，然后单击创建，创建名为training-data的存储卷。

   

5. 在左侧导航栏，选择存储 > 存储声明，在存储声明页面右上方，单击创建，在创建存储声明对话框中，参考如下图示进行参数配置，然后单击创建，创建名为training-data的存储声明。

   

3. 下载数据到NAS中

1. 在左侧导航栏，选择节点管理 > 节点，单击节点名称进入节点的ECS实例详情页面。记录此处节点的弹性公网IP，例如121.41.XX.XX。

2. 在控制台顶部单击云命令行入口，通过以下命令登录GPU节点。此处使用创建集群时，设置的节点登录密码。

   

   ssh root@121.41.XX.XX

   

3. 使用前面记录复制的NAS文件的挂载命令，挂载NAS。

   sudo mount -t nfs -o vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport 0bbfb4915a-sdm14.cn-hangzhou.nas.aliyuncs.com:/ /mnt

4. 执行以下命令，下载bloom模型和训练数据。

   cd /mnt/
   wget http://ai-training-data.oss-cn-hangzhou.aliyuncs.com/bloom-560m-sft-data.tar

   出现如下提示，表明数据下载完成。

   然后执行以下命令，解压下载文件。

   tar -xvf bloom-560m-sft-data.tar

4. 在GPU节点上配置集群证书

1. 登录容器服务管理控制台，在左侧导航栏选择集群。

2. 在集群列表页面，单击目标集群ai-test进入集群信息页面，单击连接信息，在内网访问页签下，复制内网访问凭证。

3. 执行以下命令，将集群的内网访问的证书内容复制到节点的config文件中。

   mkdir -p ~/.kube
   vi ~/.kube/config

5. 在GPU节点上安装arena客户端

执行下列命令，在GPU节点上安装arena客户端。

# 下载arena客户端并安装
cd /root && wget https://aliacs-k8s-cn-hongkong.oss-cn-hongkong.aliyuncs.com/arena/arena-installer-0.9.9-ce4a78d-linux-amd64.tar.gz
tar -xzvf arena-installer-0.9.9-ce4a78d-linux-amd64.tar.gz
cd arena-installer
bash install.sh  --only-binary

出现如下提示，表明arena客户端安装成功。

1. 提交Bloom模型微调训练任务

1. 执行以下命令，提交一个Bloom模型的微调训练任务。训练任务大概需要运行8分钟。

   arena submit pytorchjob \
     --name=bloom-sft \
     --gpus=1 \
     --image=registry.cn-hangzhou.aliyuncs.com/acs/deepspeed:v0.9.0-chat \
     --data=training-data:/model \
     --tensorboard \
     --logdir=/model/logs \
     "cd /model/DeepSpeedExamples/applications/DeepSpeed-Chat/training/step1_supervised_finetuning && bash training_scripts/other_language/run_chinese.sh /model/bloom-560m-sft"

   训练任务提交成功后，任务状态将显示RUNNING。

2. 执行以下命令，查看当前通过Arena提交的所有作业。

   arena list

   预期输出：

   NAME       STATUS   TRAINER     DURATION  GPU(Requested)  GPU(Allocated)  NODE
   bloom-sft  RUNNING  PYTORCHJOB  17m       1               1               192.168.26.152

3. 执行以下命令，获取作业详情。

   arena get bloom-sft

   预期输出：

   Name:        bloom-sft
   Status:      RUNNING
   Namespace:   default
   Priority:    N/A
   Trainer:     PYTORCHJOB
   Duration:    1m
   CreateTime:  2023-07-20 15:06:19
   EndTime:
   
   Instances:
     NAME                STATUS   AGE  IS_CHIEF  GPU(Requested)  NODE
     ----                ------   ---  --------  --------------  ----
     bloom-sft-master-0  Running  1m   true      1             cn-hangzhou.192.168.XX.XX
   
   Tensorboard:
     Your tensorboard will be available on:
     http://192.168.XX.XX:32560

   记录此处GPU节点名称cn-hangzhou.192.168.XX.XX，用于后续部署推理服务。同时，记录此处Tensorboard的Web服务地址http://192.168.XX.XX:32560，此处端口号为32560，以您的输出显示为准。

4. 将上一步记录的端口号加入GPU实例的入方向安全组，例如32560。

5. 通过浏览器访问Tensorboard。在浏览器中输入http://112.124.XX.XX:32560，此处将IP地址替换为GPU节点公网IP。

   等待任务训练完成，大概需要10分钟。训练完成后，微调后的模型存储在NAS中的bloom-560m-sft目录下。

6. 执行以下命令，在GPU节点上查看目录。

   # 进入微调后的模型目录, training.log 为训练日志
   cd /mnt/bloom-560m-sft/
   # 目录内容如下
   .
   ├── config.json
   ├── merges.txt
   ├── pytorch_model.bin
   ├── training.log
   └── vocab.json

2. 提交GPU共享模型推理服务

使用中文数据集对bloom-560m模型进行了监督微调，接下来可以通过GPU显存共享的能力，将多个推理服务部署在同一块GPU卡上以提高GPU的利用率。下文介绍如何使用Arena，将步骤一微调后的模型部署成推理服务。

1. 执行以下命令，开启GPU共享调度能力和显存隔离能力，替换下列节点为您的GPU节点名称。

   kubectl label node cn-beijing.192.168.XX.XX ack.node.gpu.schedule=cgpu

   如需关闭GPU共享调度能力，您可以将标签设置为ack.node.gpu.schedule=default。

2. 执行以下命令，查看集群GPU资源。

   arena top node

   预期输出：

   NAME                       IPADDRESS      ROLE    STATUS  GPU(Total)  GPU(Allocated)
   cn-beijing.192.168.x.xxx   101.XX.XX.162  <none>  Ready   1           0
   ---------------------------------------------------------------------------------------------------
   Allocated/Total GPUs of nodes which own resource nvidia.com/gpu In Cluster:
   0/1 (0.0%)

3. 执行以下命令，提交一个bloom的推理服务，部署2个副本，每个副本使用8G显存。

   arena serve custom \
     --name=bloom-infernece \
     --gpumemory=8 \
     --version=alpha \
     --replicas=2 \
     --restful-port=8080 \
     --data=training-data:/model \
     --image=registry.cn-hangzhou.aliyuncs.com/acs/djl-serving:v0.23.0 \
     "djl-serving -m /model/bloom-inference"

4. 查看提交的任务的详细信息。

   • 执行以下命令，查看GPU使用情况。

     arena top node

     预期输出：

     

   • 执行以下命令，查看提交任务的详细信息。

     arena serve get bloom-infernece

     Pod成功部署后，状态将变为Running。

     预期输出：

     

     预期输出表明，两个推理服务的副本成功运行在同一张GPU卡上，同时记录此处的Address 172.16.243.170。

5. 等待推理服务启动后，在GPU节点上执行以下命令，在本地调用推理服务。将下列IP替换为上一步记录的Address地址。

   curl -X POST http://172.16.243.170:8080/predictions/bloom_inference -H "Content-type: text/plain" -d "四川美食"

   预期输出：

   "generated_text":"四川美食》介绍四川的特色小吃，包括美食、名菜、小吃、酒馆、小吃一条街等，这些小吃构成了四川的饮食文化。<|endoftext|>"