阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式,神行工具包(DeepGPU)是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包(DeepGPU)的优势。
GPU产品优势
覆盖范围广阔
阿里云GPU云服务器在全球17个地域实现规模部署,覆盖范围广,结合弹性供应、弹性伸缩等交付方式,能够很好地满足您业务的突发需求。
超强计算能力
阿里云GPU云服务器配备业界超强算力的GPU计算卡,结合高性能CPU平台,单实例可提供高达1000 TFLOPS的混合精度计算性能。
网络性能出色
阿里云GPU云服务器实例的VPC网络最大支持450万的PPS及32 Gbit/s的内网带宽。在此基础上,超级计算集群产品中,节点间额外提供高达50 Gbit/s的RDMA网络,满足节点间数据传输的低延时高带宽要求。
购买方式灵活
支持灵活的资源付费模式,包括包年包月、按量付费、抢占式实例、预留实例券、存储容量单位包。您可以按需要购买,避免资源浪费。
说明部分GPU实例规格族不支持使用预留实例券。更多信息,请参见预留实例券属性。
神行工具包(DeepGPU)优势
神行工具包中的组件主要包括神龙AI加速引擎AIACC、AI分布式训练通信优化库AIACC-ACSpeed、AI训练计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU,其各自具有以下核心优势。
神龙AI加速引擎AIACC
神龙AI加速引擎AIACC作为阿里云自研的AI加速器,在训练及推理场景下具有其显著的性能优势,能够提高计算效率同时降低使用成本。
统一加速
提供对TensorFlow、Caffe、MXNet和PyTorch多种人工智能框架的统一加速。
性能深度优化
基于阿里云IaaS基础资源(GPU、CPU、网络以及I/O等基础设施)提供性能的深度优化。
弹性伸缩
基于IaaS基础资源,支持一键构建、弹性伸缩。
开源兼容
轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码,几乎无需进行修改。
AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed(AIACC 2.0-AIACC Communication Speeding)作为阿里云自研的AI训练加速器,专注于分布式训练场景的通信优化功能,在训练场景下具有其显著的性能优势,提高计算效率的同时能够降低使用成本。
定制优化
提供针对PyTorch热门框架的特定优化,适用于所有模型的训练场景。
统一加速
基于nccl-plugin组件功能,提供对TensorFlow、Caffe、MXNet多种人工智能框架的统一加速。
性能深度优化
基于阿里云IaaS基础资源(GPU、CPU、网络以及I/O等基础设施)提供性能的深度优化。
弹性伸缩
基于阿里云IaaS基础资源,兼容PyTorch原生特性,支持一键构建和弹性伸缩功能。
开源兼容
轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码,几乎无需进行修改。
如果您想了解ACSpeed在训练模型时的性能优势,更多信息,请参见AIACC-ACSpeed性能数据。
AI训练计算优化编译器AIACC-AGSpeed
AIACC-AGSpeed(简称AGSpeed)作为阿里云自研的AI训练计算优化编译器,针对PyTorch热门框架训练场景中存在的计算瓶颈进行深度优化,具有其显著的性能优势,在提高训练效率的同时能够降低使用成本。
定制优化
提供针对PyTorch热门框架的特定优化,适用于PyTorch框架的所有模型的训练场景。
无感加速
通过TorchScript在PyTorch框架中获取后端编译器可优化的静态计算图,属于当前较成熟的方案,但该方案仍无法做到完全地准确与无感。相比PyTorch原生提供的TorchScript前端,AGSpeed具有无感加速的性能优势,具体说明如下所示。
性能深度优化
基于阿里云IaaS基础资源(GPU、CPU、网络以及I/O等基础设施)提供性能的深度优化。
开源兼容
轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码,几乎无需进行修改。
集群极速部署工具FastGPU
使用FastGPU构建人工智能计算任务时,您无需关心IaaS层的计算、存储、网络等资源部署操作,简单适配即可一键部署,帮助您节省时间成本以及经济成本。
节省时间
一键部署集群。无需分别进行IaaS层计算、存储、网络等资源的部署操作,将部署集群的时间缩短到5分钟。
通过接口和命令行管理任务和资源,方便快捷。
节省成本
当数据集完成准备工作并触发训练或推理任务后,才会触发GPU实例资源的购买。当训练或推理任务结束后,将自动释放GPU实例资源。实现了资源生命周期与任务同步,帮助您节省成本。
支持创建抢占式实例。
易用性好
所有资源均为IaaS层,可访问、可调试。
满足可视化和log管理需求,保证任务可回溯。
GPU容器共享技术cGPU
GPU容器共享技术cGPU拥有节约成本和可灵活分配资源的优势,从而实现您业务的安全隔离。
节约成本
随着显卡技术的不断发展,半导体制造工艺的进步,单张GPU卡的算力越来越强,同时价格也越来越高。但在很多的业务场景下,一个AI应用并不需要一整张的GPU卡。cGPU的出现让多个容器共享一张GPU卡,从而实现业务的安全隔离,提升GPU利用率,节约用户成本。
可灵活分配资源
cGPU实现了物理GPU的资源任意划分,您可以按照不同比例灵活配置。
支持按照显存和算力两个维度划分,您可以根据需要灵活分配。
cGPU拥有灵活可配置的算力分配策略,支持三种调度策略的实时切换,满足了AI负载的峰谷能力的要求。