在GPU集群中加速AI模型训练

本文适用于AI图片的训练场景,使用文件存储CPFS/NAS作为共享存储,使用容器服务Kubernetes版管理GPU云服务器集群实现...最佳实践详情 使用容器服务ACK管理GPU云服务器集群实现AIAI模型加速训练的更多信息,请参见 GPU AI模型训练的最佳实践。

应用实践:Transformer模型训练加速

应用实践示例如下:借助Data/Model Hub的白盒化加速示例 白盒化加速:基于Finetuner代码模版的Huggingface模型微调 白盒化加速:基于Pretrainer代码模版的Huggingface模型预训练 白盒化加速:用户自定义Trainer的Huggingface模型微调 不...

Training(AIACC训练加速加速BERT Finetune模型

本文适用于自然语言训练场景,例如,通过使用GPU云服务器和极速型NAS训练BERT Finetune模型,同时使用AIACC-Training(AIACC训练加速)进行该模型的训练加速,可有效加快多机多卡的训练速度,提升模型的训练效率和性能。说明 BERT...

JindoFS加速ResNet50模型训练

本文介绍如何使用Fluid部署阿里云OSS云端ImageNet数据集到K8s集群,以及如何使用Arena在此数据集上训练ResNet-50模型。前提条件 已创建ACK Pro版集群,且集群版本为1.18及以上。具体操作,请参见 创建ACK Pro版集群。已安装云原生AI套件并...

自定义模型接入TorchAcc

接入混合精度 通过混合精度训练可以加速模型训练速度,在单卡训练或分布式训练的基础上按照以下步骤完成AMP逻辑的实现。在上一章节基础上接入混合精度进行TorchAcc编译优化的具体操作步骤如下。按照pytorch原生功能实现AMP。TorchAcc混合...

什么是Deepytorch Inference(推理加速

Deepytorch Inference是阿里云自研的AI推理加速器,专注于为Torch模型提供高性能的推理加速。通过对模型的计算图进行切割、执行层融合以及高性能OP的实现,大幅度提升PyTorch的推理性能。本文介绍Deepytorch Inference在推理加速方面的概念...

使用EAIS推理PyTorch模型(Python)

背景信息 本教程将引导您创建一个华东1(杭州)地域,eais.ei-a6.2xlarge规格的EAIS实例,并以公开的resnet50模型和bert-base模型为例,带您体验基于图像分类和NLP的推理场景下,使用EAIS推理PyTorch模型并获得性能加速的完整操作流程。...

使用EAIS推理PyTorch模型(C++)

背景信息 本教程将引导您创建一个华东1(杭州)地域,eais.ei-a6.2xlarge规格的EAIS实例,并以公开的resnet50模型和bert-base模型为例,带您体验在基于图像分类和NLP的推理场景下,使用EAIS推理PyTorch模型并获得性能加速的完整操作流程。...

Stable Diffusion AIACC加速版部署文档

aiacctorch通过编译优化的方式进行模型加速。当切换模型时,aiacctorch也会同步编译模型。如果我们希望将已有的模型全部进行编译,则可以通过webui的切换模型的API进行。请注意,切换模型时请确保webui已经打开,由于webui是单进程模式,...

PAI使用引导

AI加速 模型开发者使用AI加速器完成训练加速和推理加速,全面提升AI加速效率,详情请参见 AI加速概述。管理AI资产 PAI支持将数据集、模型、镜像和代码等作为AI资产进行管理。在模型开发过程中,模型开发者可以根据使用场景创建AI资产,并对...

使用FastGPU加速AI训练/推理

本文通过使用FastGPU工具一键构建阿里云上的AI训练/推理环境,并使用AIACC加速工具进行模型的训练或推理加速。使用FastGPU可快速搭建环境,使用AIACC可加快模型的训练/推理速度,两者协同使用,可有效提高AI模型的训练/推理效率和性能。...

使用EAIS训练PyTorch模型(EAIS内置AIACC-Training)

本文为您介绍使用Python脚本通过EAIS实例(内置AIACC-Training 2.0加速库)训练PyTorch模型的具体操作。前提条件 已将EAIS实例绑定至ECS实例上。具体操作,请参见 绑定ECS实例。背景信息 目前只有Python脚本可以训练PyTorch模型,本文介绍...

使用EAIS推理TensorFlow模型

开发模型推理脚本并使用EAIS进行加速推理。Python脚本开发说明 相较于普通推理流程,您仅需要在进行推理前,在原有推理脚本的基础上添加一行 import eais_tensorflow 导入EAIS提供的Python模块,即可使用EAIS推理TensorFlow模型。假设您的...

通义万相

通过知识重组与可变维度扩散模型加速收敛并提升最终生成图片的效果。图像结果贴合语义,构图自然、细节丰富。支持中英文双语输入。通义万相大模型系列目前支持了文字生成图像、人像风格重绘、图像背景生成等多个模型。基本信息 模型服务 ...

AI加速概述

Rapidformer(Transformer训练加速)PAI-Rapidformer是PAI推出的一款PyTorch版的针对Transformer系列模型的训练优化工具,其可以通过加速开关的方式来组合部分或全部的优化技术,以优化PyTorch版Transformer模型的训练过程,有效提高模型...

AI加速使用案例汇总

Transformer训练加速使用案例 案例名称 描述 应用实践:Transformer模型训练加速 介绍如何使用Rapidformer优化PyTorch版的Transformer模型训练。推理加速使用案例 案例名称 描述 RetinaNet优化案例1:使用Blade优化RetinaNet(Detectron2)...

使用EAIS推理PyTorch模型(Python)

开发模型推理脚本并使用EAIS进行加速推理。相较于普通推理流程,您仅需要在进行推理前,在您原有推理脚本的基础上添加一行 import eais.torch_eais 导入EAIS提供的Python模块,即可使用EAIS推理PyTorch模型。支持使用 PyTorch script 模式...

NLP:TorchAcc提速BERT Base分布式训练

阿里云PAI为您提供了部分典型场景下的示例模型,便于您便捷地接入TorchAcc进行训练加速。本文为您介绍如何在BERT-Base分布式训练中接入TorchAcc并实现训练加速。测试环境配置 测试环境配置方法,请参见 配置测试环境。本案例以 DSW 环境V...

训练加速(Pai-Megatron-Patch)概述

Pai-Megatron-Patch结合了多种优化技术,对PyTorch版Transformer模型的训练进行优化...使用流程 您可以参考如下流程使用Pai-Megatron-Patch:安装Pai-Megatron-Patch镜像 参数配置指导 应用实践:Transformer模型训练加速 参考:性能基准评测

产品优势

与常规的异构实例相比,阿里云弹性加速计算实例EAIS具有解耦性、低成本、弹性、多适配性和高性能的优势。...高性能 EAIS实例可以为您提供模型推理加速功能。相较于常规的GPU实例,使用同等算力的EAIS实例进行推理能够获得更高的性能。

快速开始

通过知识重组与可变维度扩散模型加速收敛并提升最终生成图片的效果。图像结果贴合语义,构图自然、细节丰富。支持中英文双语输入。通义万相大模型系列目前支持了文字生成图像、人像风格重绘、图像背景生成等多个模型。快速开始 前提条件 ...

快速开始

通过知识重组与可变维度扩散模型加速收敛并提升最终生成图片的效果。图像结果贴合语义,构图自然、细节丰富。支持中英文双语输入。通义万相大模型系列目前支持了文字生成图像、人像风格重绘、图像背景生成等多个模型。快速开始 前提条件 ...

目标识别:TorchAcc提速Swin Transformer分布式训练

阿里云PAI为您提供了部分典型场景下的示例模型,便于您便捷地接入TorchAcc进行训练加速。本文为您介绍如何在Swin Transformer分布式训练中接入TorchAcc并实现训练加速。测试环境配置 测试环境配置方法,请参见 配置测试环境。本案例以PAI-...

参数配置指导

适用范围 常规训练设置:数据参数 常规训练设置:模型参数 常规训练设置:训练参数 加速开关设置:MoE稀疏训练 加速开关设置:混合精度训练 加速开关设置:模型状态切分(ZeRO,OSS,SDP,FSDP)加速开关设置:3D混合并行(Data,Tensor,...

目标分类:TorchAcc提速ResNet-50分布式训练

阿里云PAI为您提供了部分典型场景下的示例模型,便于您便捷地接入TorchAcc进行训练加速。本文为您介绍如何在ResNet-50分布式训练中接入TorchAcc并实现训练加速。测试环境配置 测试环境配置方法,请参见 配置测试环境。本案例以 DSW 环境V...

5分钟使用EAS一键部署Stable Diffusion实现文生图能力

您可以通过开启Blade或xFormers的方法进行模型服务加速。Blade和xFormers方法的使用优势如下。Blade是由PAI平台提供的加速工具,在不同的图像尺寸和迭代步数下有不同的加速效果,最高可实现3.06倍的加速效果,为您的AIGC之旅带来更高性能和...

AIGC:TorchAcc提速Stable Diffusion分布式训练

阿里云PAI为您提供了部分典型场景下的示例模型,便于您便捷地接入TorchAcc进行训练加速。本文为您介绍如何在Stable Diffusion分布式训练中接入TorchAcc并实现训练加速。测试环境配置 测试环境配置方法,请参见 配置测试环境。本案例以 DSW ...

文本生成图像API详情

通过知识重组与可变维度扩散模型加速收敛并提升最终生成图片的效果,结果自然、细节丰富。支持中英文双语输入。当前模型支持的风格包括但不限于:水彩、油画、中国画、素描、扁平插画、二次元、3D卡通 模型概览 模型名 模型简介 wanx-v1 ...

文本生成图像API详情

通过知识重组与可变维度扩散模型加速收敛并提升最终生成图片的效果,结果自然、细节丰富。支持中英文双语输入。当前模型支持的风格包括但不限于:水彩、油画、中国画、素描、扁平插画、二次元、3D卡通 模型概览 模型名 模型简介 wanx-v1 ...

功能发布记录

2022-05-06 规则引擎与高级设置 2022年03月 项目类型 功能名称 功能描述 发布时间 相关文档 实体抽取 自学习模型 StructBert 系列模型推理加速,平均rt下降45%。平均长度2k字时,平均rt约3s。2022-03-14 模型说明 文本分类 自学习模型 新增...

使用EAIS训练PyTorch模型

EAIS实例成功绑定至ECS实例后,您需要远程登录该ECS实例,然后使用EAIS实例训练PyTorch模型。本文为您介绍使用EAIS训练PyTorch模型的具体操作。前提条件 已将EAIS实例绑定至ECS实例上。具体操作,请参见 绑定ECS实例。背景信息 目前只有...

使用EAIS推理PyTorch模型(C++)

本文为您介绍使用C++程序通过EAIS推理PyTorch模型的具体操作。前提条件 已将EAIS实例绑定至ECS实例上。具体操作,请参见 绑定ECS实例。已绑定的ECS实例操作系统为Ubuntu、CentOS或Alibaba Cloud Linux。更换ECS实例操作系统的具体操作,请...

使用EAIS推理TensorFlow模型

您可以在ECS实例(非GPU实例)上绑定一个弹性加速计算实例EAIS(EAIS可以为ECS实例提供GPU资源),即可生成一款新规格的GPU实例。相比直接购买GPU实例,使用该方式可以为您灵活提供GPU资源并有效节省成本。如果您初次使用EAIS,可以通过...

使用AIACC-Training MXNet版

由于MXNet支持KVStore和Horovod两种分布式训练方式,因此AIACC-Training 1.5能够支持使用KVStore的方式对MXNet分布式训练进行加速,同时支持Horovod的分布式训练方式,并且能够无缝兼容Horovod的API版本。快速启用 代码适配与运行 适配...

EAS-LLM大模型推理服务发布

新增功能/规格 EAS-LLM大模型服务是PAI平台推出的针对指定LLM大模型的推理加速与部署服务,通过BladeLLM推理加速和EAS模型部署,实现超高性价比的大模型部署体验。并通过modelquota的方式从服务实例的维度进行收费,帮助客户实现底层资源的...

异构计算产品最佳实践概览

神龙AI加速引擎AIACC 使用AIACC-Training(AIACC训练加速加速BERT Finetune模型 适用于自然语言训练场景,使用GPU云服务器和极速型NAS进行BERT Finetune模型训练,使用AIACC-Training(AIACC训练加速)可以有效提升多机多卡的训练效率。...

如何开启模型训练

优势•推理加速:平台底层默认进行模型压缩和推理加速,屏蔽机器管理和推理加速的技术工作。全链路训练平台:丰富、完整的模型训练工具,支持SFT、LoRa等多种优化方式,训练之后支持一键部署。多维度评估:支持单模型、多模型对比等多维度...

高级配置:内存缓存本地目录

加速效果 以Stable Diffusion场景为例,模型切换场景的加速效果如下,单位:秒。您的最终的加速效果以实际情况为准。模型 模型大小 OSS挂载 cachefs本地命中 cachefs远端命中 anything-v4.5.safetensors 7.2G 89.88 3.845 15.18 Anything-v...

什么是Deepytorch Training(训练加速

Deepytorch Training是阿里云自研的AI训练加速器,为生成式AI和大模型场景提供训练加速功能。本文主要介绍Deepytorch Training在训练加速上的概念、优势及特性。Deepytorch Training介绍 Deepytorch Training面向生成式AI和大模型场景,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
全球加速 边缘网络加速 安全加速 SCDN (文档停止维护) 视频点播 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用