同润

这个同学很专业，但是有点神秘哟~

使用Rapidformer加速PyTorch深度学习训练
概述方案介绍Rapidformer是阿里云计算平台部机器学习平台PAI团队推出的PyTorch版的模型训练优化工具。它有机融合了3D混合并行，模型状态切分，MOE稀疏训练，计算图优化，Dynamic Shape等多种优化技术，通过加速开关的方式来组合部分或者全部的优化技术。Rapidformer的所...
Sun Sep 03 11:59:08 CST 2023