AIACC-ACSpeed专注于分布式训练场景的通信优化库,通过模块化的解耦优化设计,实现了分布式训练在兼容性、适用性和性能加速等方面的升级。本文为您介绍安装和使用AIACC-ACSpeed v1.1.0的方法。
前提条件
已创建阿里云GPU实例,且GPU实例需满足以下要求:
操作系统为Alibaba Cloud Linux、CentOS 7.x、Ubuntu 16.04或以上版本。
已安装NVIDIA Driver和CUDA 10.0或以上版本。
支持的版本列表
AIACC-ACSpeed(本文简称ACSpeed)v1.1.0支持PyTorch、Cuda、Python以及NGC镜像版本,版本对应关系如下所示。
类型 | PyTorch Version | CUDA Version | Python Version |
官方PyTorch版本 | 1.6.0 | 10.1 | 3.6/3.7/3.8 |
1.8.0 | 10.1/10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.8.1 | 10.1/10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.9.0 | 10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.9.1 | 10.2/11.1 | 3.6/3.7/3.8/3.9 | |
1.10.0 | 10.2/11.1/11.3 | 3.6/3.7/3.8/3.9 | |
1.10.1 | 10.2/11.1/11.3 | 3.6/3.7/3.8/3.9 | |
1.10.2 | 10.2/11.1/11.3 | 3.6/3.7/3.8/3.9 | |
1.11.0 | 10.2/11.3 | 3.7/3.8/3.9/3.10 | |
1.12.0 | 10.2/11.3/11.6 | 3.7/3.8/3.9/3.10 | |
1.12.1 | 10.2/11.3/11.6 | 3.7/3.8/3.9/3.10 | |
1.13.0 | 11.6 | 3.7/3.8/3.9/3.10 | |
1.13.1 | 11.6 | 3.7/3.8/3.9/3.10 | |
2.0.0 | 11.7 | 3.7/3.8/3.9/3.10 | |
NGC镜像版本(nvcr.io/nvidia/pytorch:22.06-py3) | 1.13.0a0 | 11.7 | 3.8 |
安装AIACC-ACSpeed
执行如下命令,下载ACSpeed v1.1.0。
wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/ACSpeed/acspeed-1.1.0.tar.gz
执行如下命令,安装ACSpeed v1.1.0。
pip install acspeed-1.1.0.tar.gz
使用AIACC-ACSpeed
使用ACSpeed时,通过适配代码来快速启用ACSpeed即可。
您仅需在训练代码主函数对应的文件上增加一行import
命令导入ACSpeed代码即可,一般可以选择在torch导入的地方。命令行示例如下所示:
import torch
import acspeed