异构云服务器

什么是异构计算

异构计算（Heterogeneous Computing）是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式，目前主要包括GPU云服务器、FPGA云服务器和弹性加速计算实例EAIS等。异构计算能够让最适合的专用硬件去服务最适合的业务场景，在特定场景下，异构计算产品比普通的云服务器高出一个甚至更多数量级的性价比和效率。异构计算的显著优势在于实现了让性能、成本和功耗三者均衡的技术，通过让最合适的专用硬件去做最适合的事来调节功耗，从而达到性能和成本的最优化。

随着以深度学习为代表的人工智能技术的飞速发展，AI计算模型越来越复杂和精确，人们对于算力和性能的需求也大幅度增加，因此，越来越多的AI计算都采用异构计算来实现性能加速。阿里云异构计算云服务研发了云端AI加速器，通过统一的框架同时支持了TensorFlow、PyTorch、MXNet和Caffe四种主流AI计算框架的性能加速，并且针对以太网和异构加速器本身进行了深入的性能优化。

阿里云异构计算产品家族介绍

下文为您介绍阿里云异构计算产品家族：GPU云服务器、FPGA云服务器、神龙AI加速引擎AIACC、集群极速部署工具FastGPU、GPU容器共享技术cGPU以及弹性加速计算实例EAIS。

• GPU云服务器

  GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力与CPU计算力，同时实现GPU计算资源的即开即用和弹性伸缩。满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求。更多信息，请参见什么是GPU云服务器。

• 神龙AI加速引擎AIACC

  神龙AI加速引擎AIACC是基于阿里云IaaS资源推出的AI加速引擎，用于优化基于AI主流计算框架搭建的模型，能显著提升深度学习场景下的训练和推理性能。配合集群极速部署工具FastGPU快速构建AI计算任务，全面提升研发效率和GPU利用率，缩短计算时间并降低AI的推理延迟。更多信息，请参见什么是神龙AI加速引擎AIACC。

• 集群极速部署工具FastGPU

  FastGPU是一套阿里云推出的人工智能计算极速部署工具。您可以通过其提供的便捷的接口和自动工具，实现分钟级内快速搭建GPU集群，并为深度学习训练创造快捷环境。更多信息，请参见什么是集群极速部署工具FastGPU。

• GPU容器共享技术cGPU

  cGPU是阿里云基于内核虚拟GPU隔离的容器共享技术，助力您在GPU中快速迅捷地部署容器，实现多个容器共享一张GPU卡，使业务安全隔离，提高GPU硬件资源的利用率并降低使用成本。更多信息，请参见什么是GPU容器共享技术cGPU。

• 弹性加速计算实例EAIS

  EAIS是一款阿里云提供的性能卓越、成本优化、弹性扩展的IaaS（Infrastructure as a Service）级别弹性计算服务。实现了异构计算资源的弹性挂载，即前端可以使用不带异构加速的ECS实例，后端可以动态挂载或卸载GPU实例，让普通的ECS具备异构计算加速的能力，使CPU资源与GPU资源成功解耦。EAIS让CPU与异构加速器的数量配比实现了灵活可配置，从而满足AI推理等场景对于CPU和异构加速器的数量配比的不同需求。同时，后端的GPU实例通过池化管理和调度，可以灵活选择最适合您工作负载的异构加速器，降低异构加速成本。更多信息，请参见什么是弹性加速计算实例EAIS。

• FPGA云服务器

  FPGA云服务器是一类提供了现场可编程门阵列（FPGA）的实例规格。由于FPGA硬件的可重配特性，您可以快速擦写和重配已创建的FPGA硬件加速应用，同时拥有低时延硬件与资源弹性。更多信息，请参见什么是FPGA云服务器。

选择异构云服务器

• 不同使用场景的推荐
• 深度学习、图像处理场景的推荐
  该类场景是异构服务器的典型场景。在这些场景中，需要高性能的GPU加速器，在GPU和CPU配比方面有如下建议。

  • 深度学习训练：GPU与CPU的核数比例推荐为1:8到1:12之间。
  • 通用深度学习：GPU与CPU的核数比例推荐为1:4到1:48之间。
  • 图像识别推理：GPU与CPU的核数比例推荐为1:4到1:12之间。
  • 语音识别与合成推理：GPU与CPU的核数比例推荐为1:16到1:48之间。
  

更多信息，请参见异构产品文档。