安装和使用AIACC-ACSpeed

AIACC-ACSpeed专注于分布式训练场景的通信优化库,通过模块化的解耦优化设计,实现了分布式训练在兼容性、适用性和性能加速等方面的升级。本文为您介绍安装和使用AIACC-ACSpeed v1.1.0的方法。

前提条件

已创建阿里云GPU实例,且GPU实例需满足以下要求:

  • 操作系统为Alibaba Cloud Linux、CentOS 7.x、Ubuntu 16.04或以上版本。

  • 已安装NVIDIA Driver和CUDA 10.0或以上版本。

支持的版本列表

AIACC-ACSpeed(本文简称ACSpeed)v1.1.0支持PyTorch、Cuda、Python以及NGC镜像版本,版本对应关系如下所示。

类型

PyTorch Version

CUDA Version

Python Version

官方PyTorch版本

1.6.0

10.1

3.6/3.7/3.8

1.8.0

10.1/10.2/11.1

3.6/3.7/3.8/3.9

1.8.1

10.1/10.2/11.1

3.6/3.7/3.8/3.9

1.9.0

10.2/11.1

3.6/3.7/3.8/3.9

1.9.1

10.2/11.1

3.6/3.7/3.8/3.9

1.10.0

10.2/11.1/11.3

3.6/3.7/3.8/3.9

1.10.1

10.2/11.1/11.3

3.6/3.7/3.8/3.9

1.10.2

10.2/11.1/11.3

3.6/3.7/3.8/3.9

1.11.0

10.2/11.3

3.7/3.8/3.9/3.10

1.12.0

10.2/11.3/11.6

3.7/3.8/3.9/3.10

1.12.1

10.2/11.3/11.6

3.7/3.8/3.9/3.10

1.13.0

11.6

3.7/3.8/3.9/3.10

1.13.1

11.6

3.7/3.8/3.9/3.10

2.0.0

11.7

3.7/3.8/3.9/3.10

NGC镜像版本(nvcr.io/nvidia/pytorch:22.06-py3)

1.13.0a0

11.7

3.8

安装AIACC-ACSpeed

  1. 执行如下命令,下载ACSpeed v1.1.0。

    wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/ACSpeed/acspeed-1.1.0.tar.gz
  2. 执行如下命令,安装ACSpeed v1.1.0。

    pip install acspeed-1.1.0.tar.gz

使用AIACC-ACSpeed

使用ACSpeed时,通过适配代码来快速启用ACSpeed即可。

您仅需在训练代码主函数对应的文件上增加一行import命令导入ACSpeed代码即可,一般可以选择在torch导入的地方。命令行示例如下所示:

import torch
import acspeed