文档

AI加速概述

更新时间:

PAI-AI加速器主要用于训练加速和推理加速,它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段,提高了AI训练和推理的速度、易用性和稳定性,全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。

AI加速器功能简介

AI加速器支持的技术手段及对应的功能如下:

技术手段

功能概览

DataSetAcc(数据集样本访问的加速服务)

  • 支持Kubernetes Native。

  • 支持多种存储介质和文件类型。

  • 支持生命周期管理。

  • 易用,代码无需修改,无侵入性。

  • 加速存算分离场景下I/O性能。

TorchAcc(模型训练加速框架)

  • 支持数据并行训练,优化计算和通信overlap,提升分布式训练效果。

  • 支持AMP训练加速。

  • 支持自动显存优化等。

EPL(大规模分布式训练框架)

  • 支持数据并行,算子拆分流水并行。

  • 支持自动并行策略,得到最优分布式训练性能。

Rapidformer(Transformer训练加速)

  • 支持对PyTorch版Transformer模型的训练进行优化。

  • 融合了多种优化技术,可以无缝对接Transformer模型库。

PAI-Blade(通用推理优化)

  • 支持TensorFlow、PyTorch及主流加速设备:GPU、CPU、端侧设备。

  • 支持计算图优化、厂商优化库、AI编译优化、高性能算子库、混合精度及自动压缩等多种优化技术。

  • 易用,标准Python SDK,一个接口即可完成优化。

使用AI加速器

您可以参考以下文档链接快速接入AI加速器并体验加速效果:

  • DataSetAcc(数据集样本访问的加速服务)

    PAI-DataSetAcc主要解决云上AI加速-数据集加速的场景,更多关于接入和使用DataSetAcc的方法和流程,请参见数据集加速器概述

  • TorchAcc(模型训练加速框架)

    PAI-TorchAcc是一个基于PyTorch的训练加速框架,旨在提高PyTorch模型训练的效率。关于如何接入TorchAcc及更多操作实践内容,请参见分布式训练加速TorchAcc概述

  • EPL(大规模分布式训练框架)

    PAI-EPL是一款高效易用的分布式模型训练框架,可以实现低成本、高性能分布式模型训练。更多关于使用EPL实现训练加速的操作,请参见AI加速:使用EPL实现AI训练加速

  • Rapidformer(Transformer训练加速)

    PAI-Rapidformer是PAI推出的一款PyTorch版的针对Transformer系列模型的训练优化工具,其可以通过加速开关的方式来组合部分或全部的优化技术,以优化PyTorch版Transformer模型的训练过程,有效提高模型训练的速度和效率。更多关于PAI-Rapidformer的使用方法,请参见训练加速(Rapidformer)概述

  • PAI-Blade(通用推理优化)

    PAI-Blade是PAI推出的一款通用推理优化工具,它结合了多种优化技术,可以对训练完成的模型进行优化,以达到最优的推理性能。更多关于PAI-Blade的使用方法,请参见推理加速(Blade)概述