文档

产品优势

更新时间:

阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式,神行工具包(DeepGPU)是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包(DeepGPU)的优势。

GPU产品优势

  • 覆盖范围广阔

    阿里云GPU云服务器在全球17个地域实现规模部署,覆盖范围广,结合弹性供应、弹性伸缩等交付方式,能够很好地满足您业务的突发需求。

  • 超强计算能力

    阿里云GPU云服务器配备业界超强算力的GPU计算卡,结合高性能CPU平台,单实例可提供高达1000 TFLOPS的混合精度计算性能。

  • 网络性能出色

    阿里云GPU云服务器实例的VPC网络最大支持450万的PPS及32 Gbit/s的内网带宽。在此基础上,超级计算集群产品中,节点间额外提供高达50 Gbit/s的RDMA网络,满足节点间数据传输的低延时高带宽要求。

  • 购买方式灵活

    支持灵活的资源付费模式,包括包年包月、按量付费、抢占式实例、预留实例券、存储容量单位包。您可以按需要购买,避免资源浪费。

    说明

    部分GPU实例规格族不支持使用预留实例券。更多信息,请参见预留实例券属性

神行工具包(DeepGPU)优势

神行工具包中的组件主要包括神龙AI加速引擎AIACC、AI分布式训练通信优化库AIACC-ACSpeed、AI训练计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU,其各自具有以下核心优势。

神龙AI加速引擎AIACC

神龙AI加速引擎AIACC作为阿里云自研的AI加速器,在训练及推理场景下具有其显著的性能优势,能够提高计算效率同时降低使用成本。

  • 统一加速

    提供对TensorFlow、Caffe、MXNet和PyTorch多种人工智能框架的统一加速。

  • 性能深度优化

    基于阿里云IaaS基础资源(GPU、CPU、网络以及I/O等基础设施)提供性能的深度优化。

  • 弹性伸缩

    基于IaaS基础资源,支持一键构建、弹性伸缩。

  • 开源兼容

    轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码,几乎无需进行修改。

AI分布式训练通信优化库AIACC-ACSpeed

AIACC-ACSpeed(AIACC 2.0-AIACC Communication Speeding)作为阿里云自研的AI训练加速器,专注于分布式训练场景的通信优化功能,在训练场景下具有其显著的性能优势,提高计算效率的同时能够降低使用成本。

  • 定制优化

    提供针对PyTorch热门框架的特定优化,适用于所有模型的训练场景。

  • 统一加速

    基于nccl-plugin组件功能,提供对TensorFlow、Caffe、MXNet多种人工智能框架的统一加速。

  • 性能深度优化

    基于阿里云IaaS基础资源(GPU、CPU、网络以及I/O等基础设施)提供性能的深度优化。

  • 弹性伸缩

    基于阿里云IaaS基础资源,兼容PyTorch原生特性,支持一键构建和弹性伸缩功能。

  • 开源兼容

    轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码,几乎无需进行修改。

如果您想了解ACSpeed在训练模型时的性能优势,更多信息,请参见AIACC-ACSpeed性能数据

AI训练计算优化编译器AIACC-AGSpeed

AIACC-AGSpeed(简称AGSpeed)作为阿里云自研的AI训练计算优化编译器,针对PyTorch热门框架训练场景中存在的计算瓶颈进行深度优化,具有其显著的性能优势,在提高训练效率的同时能够降低使用成本。

  • 定制优化

    提供针对PyTorch热门框架的特定优化,适用于PyTorch框架的所有模型的训练场景。

  • 无感加速

    通过TorchScript在PyTorch框架中获取后端编译器可优化的静态计算图,属于当前较成熟的方案,但该方案仍无法做到完全地准确与无感。相比PyTorch原生提供的TorchScript前端,AGSpeed具有无感加速的性能优势,具体说明如下所示。

  • 性能深度优化

    基于阿里云IaaS基础资源(GPU、CPU、网络以及I/O等基础设施)提供性能的深度优化。

  • 开源兼容

    轻量便捷、开源兼容。您基于开源框架编写的算法代码或模型代码,几乎无需进行修改。

集群极速部署工具FastGPU

使用FastGPU构建人工智能计算任务时,您无需关心IaaS层的计算、存储、网络等资源部署操作,简单适配即可一键部署,帮助您节省时间成本以及经济成本。

  • 节省时间

    • 一键部署集群。无需分别进行IaaS层计算、存储、网络等资源的部署操作,将部署集群的时间缩短到5分钟。

    • 通过接口和命令行管理任务和资源,方便快捷。

  • 节省成本

    • 当数据集完成准备工作并触发训练或推理任务后,才会触发GPU实例资源的购买。当训练或推理任务结束后,将自动释放GPU实例资源。实现了资源生命周期与任务同步,帮助您节省成本。

    • 支持创建抢占式实例。

  • 易用性好

    • 所有资源均为IaaS层,可访问、可调试。

    • 满足可视化和log管理需求,保证任务可回溯。

GPU容器共享技术cGPU

GPU容器共享技术cGPU拥有节约成本和可灵活分配资源的优势,从而实现您业务的安全隔离。

  • 节约成本

    随着显卡技术的不断发展,半导体制造工艺的进步,单张GPU卡的算力越来越强,同时价格也越来越高。但在很多的业务场景下,一个AI应用并不需要一整张的GPU卡。cGPU的出现让多个容器共享一张GPU卡,从而实现业务的安全隔离,提升GPU利用率,节约用户成本。

  • 可灵活分配资源

    cGPU实现了物理GPU的资源任意划分,您可以按照不同比例灵活配置。

    • 支持按照显存和算力两个维度划分,您可以根据需要灵活分配。灵活资源分配

    • cGPU拥有灵活可配置的算力分配策略,支持三种调度策略的实时切换,满足了AI负载的峰谷能力的要求。可配置的算力分配策略

  • 本页导读 (1)
文档反馈