与常规的异构实例相比,阿里云弹性加速计算实例EAIS具有解耦性、低成本、弹性、多适配性和高性能的优势。
解耦性
常规GPU实例的CPU、内存和GPU是部署在同一台物理机上的。EAIS实例可以将CPU与GPU成功解耦,其CPU、内存和GPU可以存在于不同的物理机中。您可以根据对CPU和内存的需求选择一款ECS实例,然后再匹配一个EAIS实例,即可生成一款满足您需求的新规格GPU实例。
低成本
EAIS实例能够将推理成本降低多达50%。您可以单独制定所需的推理加速量级,无需超额预置GPU资源,选择最合适您应用的实例类型即可。
以您需要一个内存超过128 GiB,且只带一块GPU的实例为例,说明如下:
使用常规GPU实例:
在常规GPU实例规格中,能刚好满足您需求的实例规格有如下几种选择:
实例规格
vCPU
内存(GiB)
GPU
GPU显存(GB)
ecs.gn6i-c24g1.12xlarge
48
186.0
T4*2
32
ecs.gn6v-c8g1.8xlarge
32
128.0
V100*4
64
ecs.gn6e-c12g1.12xlarge
48
368.0
V100*4
128
如上表所示,您购买的GPU实例可能会自带多个GPU资源,此时,将会造成超额预置GPU资源的浪费。
使用EAIS实例:
您只需要购买如下计算资源:
产品
实例规格
指标数据
云服务器ECS
ecs.r6.6xlarge
24 vCPU 192 GiB
弹性计算加速实例EAIS
eais.ei-a6.4xlarge
16 TFLOPS/FP32,32 GB/显存
综上所述,如果您购买GPU实例,则只能在已有的固定实例规格中进行选择,并且您需要为该实例的全部资源付费。而使用EAIS实例,您只需选择一个内存满足您业务需求的不带GPU的ECS实例,然后再匹配一个算力和显存满足您业务需求的EAIS实例,即可灵活地解决相同的问题场景,具有明显的低成本优势。
弹性
EAIS实例可以准确获取您所需的资源,为您灵活匹配GPU资源。您可以轻松扩展和缩减推理加速量级以满足您的业务需求,不会过度投资预置资源,具体说明如下:
当需要增加ECS实例以满足不断增长的需求时,您可以为每个ECS实例扩展EAIS实例。
当需求降低时,您也可以随时释放任意ECS实例绑定的EAIS实例,在需要时,重新创建并绑定EAIS实例到该ECS实例上,可以灵活匹配和使用GPU资源,避免资源闲置带来的计费。
多适配性
EAIS实例具有极强的适配性,能够支持GPU、NPU、FPGA多种异构硬件的适配,种类多样,适配性强。
高性能
EAIS实例可以为您提供模型推理加速功能。相较于常规的GPU实例,使用同等算力的EAIS实例进行推理能够获得更高的性能。