使用AIACC-Training加速BERT Finetune模型的训练效率_GPU云服务器(EGS)-阿里云帮助中心

本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。

说明

BERT（Bidirectional Encoder Representations from Transformers）是一种新型的语言表示模型。分为预训练模型（Pretrain）和精调模型（Finetune）。Pretrain模型为通用的语言模型。Finetune只需要在Pretrain的基础上增加一层适配层，即可服务于从问答到语言推理等各类任务，无需为具体任务修改整体模型架构。

方案优势

使用GPU云服务器可快速搭建自然语言训练环境。
使用极速型NAS可提供强大的存储和共享训练数据的性能。
使用AIACC-Training（AIACC训练加速）工具可有效加快模型的训练速度。

部署架构图

193

选用的产品列表

产品名称	说明
GPU云服务器	该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。
极速型NAS	是基于阿里云最新一代网络架构和全闪存储打造的高性能共享文件存储产品，全托管的云存储服务与阿里云丰富的计算服务完全集成，充分发挥公共云计算生态的能力，具有低时延、高IOPS、大容量等特性。
专有网络VPC	该网络由逻辑网络设备（如虚拟路由器，虚拟交换机）组成，可通过专线、VPN等连接方式与传统数据中心组成一个按需定制的网络环境，实现应用的平滑迁移上云。
云速搭CADT	阿里云推出的一款为上云应用提供自助式云架构管理的产品，通过CADT可以快速创建云上应用架构，自动化部署资源，轻松实现对云上应用的全生命周期管理，可以显著降低云资源管理的难度和时间成本，助力客户高效便捷上云。

最佳实践详情

关于使用AIACC-Training（AIACC训练加速）进行BERT Finetune模型训练加速的更多信息，请参见AIACC加速Bert Finetune的最佳实践。