Deepytorch Training是阿里云自研的AI加速器,面向生成式AI和大模型场景,提供了显著的训练加速能力。本文主要介绍安装并使用Deepytorch Training的操作方法。
前提条件
已创建阿里云GPU实例,且GPU实例需满足以下要求:
操作系统为Alibaba Cloud Linux、CentOS 7.x、Ubuntu 18.04或更高版本。
已安装NVIDIA Driver、CUDA 11.1或更高版本。
已安装Pytorch且满足相应的版本要求。
支持的版本列表
Deepytorch Training支持多种PyTorch、CUDA以及Python版本。版本对应关系如下所示:
PyTorch Version | CUDA Runtime Version | Python Version |
1.10.x | 11.1/11.3 | 3.8/3.9 |
1.11.x | 11.3 | 3.8/3.9/3.10 |
1.12.x | 11.3/11.6 | 3.8/3.9/3.10 |
1.13.x | 11.6/11.7 | 3.8/3.9/3.10 |
2.0.x | 11.7/11.8 | 3.8/3.9/3.10/3.11 |
安装Deepytorch Training
以Deepgpu安装包2.0.2rcl版本为例,执行pip install
命令即可安装Deepytorch Training。
Deepytorch Training属于Deepgpu工具包,系统会根据您当前的软件环境自动匹配对应的Deepytorch Training安装包。
pip install deepgpu==2.0.2rc1
使用Deepytorch Training
您仅需要在模型的训练脚本中增加一行代码,即可启用Deepytorch Training优化功能,增加的代码如下所示:
import deepytorch # 导入deepytorch库
下文以开源项目(stanford_alpaca)为例,在两台8卡A800的机型测试平台上,展示如何使用 Deepytorch Training训练llama-7b模型,以及使用Deeyptorch优化功能后的性能效果。官方默认的训练配置代码示例如下:
# https://github.com/tatsu-lab/stanford_alpaca
pip install deepspeed
deepspeed --hostfile=hostfile --master_addr=<your_master_addr> --num_nodes=2 --num_gpus=8 train.py \
--model_name_or_path <your_path_to_hf_converted_llama_ckpt_and_tokenizer> \
--data_path ./alpaca_data.json \
--bf16 True \
--output_dir <your_output_dir> \
--num_train_epochs 1 \
--per_device_train_batch_size 4 \
--per_device_eval_batch_size 4 \
--gradient_accumulation_steps 8 \
--evaluation_strategy "no" \
--save_strategy "steps" \
--save_steps 2000 \
--save_total_limit 1 \
--learning_rate 2e-5 \
--weight_decay 0. \
--warmup_ratio 0.03 \
--deepspeed "./configs/default_offload_opt_param.json" \
--tf32 True
相比较llama-7b模型本身默认的训练配置,使用 Deepytorch Training优化功能训练该模型时,您仅需要简单修改训练脚本(train.py)即可,具体说明如下:
优化前:使用llama-7b模型默认配置的
train.py
训练脚本(仅展示部分代码)import torch import transformers import utils from torch.utils.data import Dataset from transformers import Trainer ...
优化后:使用 Deepytorch Training优化功能的
train.py
训练脚本(仅展示部分代码)import torch import deepytorch # 新增代码行 import transformers import utils from torch.utils.data import Dataset from transformers import Trainer ...
模型训练完成后,显示结果如下所示,表示模型训练优化前后的一个轮次(epoch)的性能数据有所不同。
优化前:模型的训练吞吐性能数据为16.0 samples/sec。
优化后:模型的训练吞吐性能数据为18.461 samples/sec。
由上图对比可以看出,相比较llama-7b模型默认的训练配置(即优化前),使用 Deepytorch Training优化功能(即优化后)训练该模型,其训练吞吐性能获得了显著提升。
- 本页导读 (1)