ACS支持多种GPU卡型,用户可以在集群中使用alibabacloud.com/gpu-model-series标签指定如下的GPU卡。不同类型GPU卡适用场景有所差别,用户可以根据规格族列表按需选择。
GU8TF
GPU计算卡。
显存容量提升至96 GB,支持FP8浮点数格式,支持70 B及更大模型的单机推理。
8卡之间支持NVLINK互联,适用于中小模型训练场景。节点间支持1.6T带宽的高速RDMA互联。
支持该GPU卡的Pod规格约束如下:
GPU | vCPU | Memory(GiB) | Memory支持步长(GiB) | 存储(GiB) |
1(96G显存) | 2 | 2 ~ 16 | 1 | 30 ~ 256 |
4 | 4 ~ 32 | 1 | ||
6 | 6 ~ 48 | 1 | ||
8 | 8 ~ 64 | 1 | ||
10 | 10 ~ 80 | 1 | ||
12 | 12 ~ 96 | 1 | ||
14 | 14 ~ 112 | 1 | ||
16 | 16 ~ 128 | 1 | ||
22 | 22, 32, 64, 128 | N/A | ||
2(96Gx2显存) | 16 | 16 ~ 128 | 1 | 30 ~ 512 |
32 | 32, 64, 128, 230 | N/A | ||
46 | 64, 128, 230 | N/A | ||
4(96Gx4显存) | 32 | 32, 64, 128, 256 | N/A | 30 ~ 1024 |
64 | 64, 128, 256, 460 | N/A | ||
92 | 128, 256, 460 | N/A | ||
8(96Gx8显存) | 64 | 64, 128, 256, 512 | N/A | 30 ~ 2048 |
128 | 128, 256, 512, 920 | N/A | ||
184 | 256, 512, 920 | N/A |
GU8TEF
GPU计算卡。
显存容量提升至141 GB,支持FP8浮点数格式,多卡形态下支持DeepSeek R1的单机推理。
8卡之间支持NVLINK互联,适用于中小模型训练场景。节点间支持1.6T带宽的高速RDMA互联。
支持该GPU卡的Pod规格约束如下:
GPU | vCPU | Memory(GiB) | Memory支持步长(GiB) | 存储(GiB) |
1(141G显存) | 2 | 2 ~ 16 | 1 | 30 ~ 768 |
4 | 4 ~ 32 | 1 | ||
6 | 6 ~ 48 | 1 | ||
8 | 8 ~ 64 | 1 | ||
10 | 10 ~ 80 | 1 | ||
12 | 12 ~ 96 | 1 | ||
14 | 14 ~ 112 | 1 | ||
16 | 16 ~ 128 | 1 | ||
22 | 22, 32, 64, 128, 225 | N/A | ||
2(141Gx2显存) | 16 | 16 ~ 128 | 1 | 30 ~ 1536 |
32 | 32, 64, 128, 256 | N/A | ||
46 | 64, 128, 256, 450 | N/A | ||
4(141Gx4显存) | 32 | 32, 64, 128, 256 | N/A | 30 ~ 3072 |
64 | 64, 128, 256, 512 | N/A | ||
92 | 128, 256, 512, 900 | N/A | ||
8(141Gx8显存) | 64 | 64, 128, 256, 512 | N/A | 30 ~ 6144 |
128 | 128, 256, 512, 1024 | N/A | ||
184 | 256, 512, 1024, 1800 | N/A |
L20(GN8IS)
GPU计算卡。
支持TensorRT等常用加速功能,支持FP8浮点数格式,GPU间支持P2P通信。
显存容量提升至48 GB,多卡形态下,支持70 B及更大模型的单机推理。
支持该GPU卡的Pod规格约束如下:
GPU | vCPU | Memory(GiB) | Memory支持步长(GiB) | 存储(GiB) |
1(48G显存) | 2 | 2 ~ 16 | 1 | 30 ~ 256 |
4 | 4 ~ 32 | 1 | ||
6 | 6 ~ 48 | 1 | ||
8 | 8 ~ 64 | 1 | ||
10 | 10 ~ 80 | 1 | ||
12 | 12 ~ 96 | 1 | ||
14 | 14 ~ 112 | 1 | ||
16 | 16 ~ 120 | 1 | ||
2(48Gx2显存) | 16 | 16 ~ 128 | 1 | 30 ~ 512 |
32 | 32, 64, 128, 230 | N/A | ||
4(48Gx4显存) | 32 | 32, 64, 128, 256 | N/A | 30 ~ 1024 |
64 | 64, 128, 256, 460 | N/A | ||
8(48Gx8显存) | 64 | 64, 128, 256, 512 | N/A | 30 ~ 2048 |
128 | 128, 256, 512,920 | N/A |
L20X(GX8SF)
GPU计算卡。
显存容量提升至141 GB,多卡形态下,支持更大模型的单机推理。
8卡之间支持NVLINK互联,适用于大模型训练、推理场景。节点间支持3.2T带宽的高速RDMA互联。
支持该GPU卡的Pod规格约束如下:
GPU | vCPU | Memory(GiB) | Memory支持步长(GiB) | 存储(GiB) |
8(141Gx8显存) | 184 | 1800 | N/A | 30 ~ 6144 |
P16EN
GPU计算卡。
显存容量提升至96 GB,支持FP16浮点数格式,多卡形态下支持DeepSeek R1的单机推理。
16卡之间支持700GB/s高速互联,适用于中小模型训练场景。节点间支持1.6T带宽的高速RDMA互联。
支持该GPU卡的Pod规格约束如下:
GPU | vCPU | Memory(GiB) | Memory支持步长(GiB) | 存储 |
1(96G显存) | 2 | 2~16 | 1 | 30G ~ 384G |
4 | 4~32 | 1 | ||
6 | 6~48 | 1 | ||
8 | 8~64 | 1 | ||
10 | 10~80 | 1 | ||
2(96Gx2显存) | 4 | 4~32 | 1 | 30G ~ 768G |
6 | 6~48 | 1 | ||
8 | 8~64 | 1 | ||
16 | 16~128 | 1 | ||
22 | 32, 64, 128, 225 | N/A | ||
4(96Gx4显存) | 8 | 8~64 | 1 | 30G ~ 1.5T |
16 | 16~128 | 1 | ||
32 | 32, 64, 128, 256 | N/A | ||
46 | 64, 128, 256, 450 | N/A | ||
8(96Gx8显存) | 16 | 16~128 | 1 | 30G ~ 3T |
32 | 32, 64, 128, 256 | N/A | ||
64 | 64, 128, 256, 512 | N/A | ||
92 | 128, 256, 512, 900 | N/A | ||
16(96Gx16显存) | 32 | 32, 64, 128, 256 | N/A | 30G ~ 6T |
64 | 64, 128, 256, 512 | N/A | ||
128 | 128, 256, 512, 1024 | N/A | ||
184 | 256, 512, 1024, 1800 | N/A |
G49E
GPU计算卡。
单GPU显存48 GB,支持RTX、TensorRT等常用加速功能,GPU间支持P2P通信。
支持该GPU卡的Pod规格约束如下:
GPU | vCPU | Memory(GiB) | Memory支持步长(GiB) | 存储(GiB) |
1(48G显存) | 2 | 2~16 | 1 | 30 ~ 256 |
4 | 4~32 | 1 | ||
6 | 6~48 | 1 | ||
8 | 8~64 | 1 | ||
10 | 10~80 | 1 | ||
12 | 12~96 | 1 | ||
14 | 14~112 | 1 | ||
16 | 16~120 | 1 | ||
2(48Gx2显存) | 16 | 16~128 | 1 | 30 ~ 512 |
32 | 32, 64, 128, 230 | N/A | ||
4(48Gx4显存) | 32 | 32, 64, 128, 256 | N/A | 30 ~ 1024 |
64 | 64, 128, 256, 460 | N/A | ||
8(48Gx8显存) | 64 | 64, 128, 256, 512 | N/A | 30 ~ 2048 |
128 | 128, 256, 512, 920 | N/A |
T4
GPU计算卡。
Turing架构,单GPU显存16 GB(GPU显存带宽320 GB/s)。
可变精度Tensor Cores支持65 TFLOPS FP16、130 INT8 TOPS以及260 INT4 TOPS。
支持该GPU卡的Pod规格约束如下:
规格族 | GPU | vCPU | Memory(GiB) | Memory支持步长(GiB) | 存储(GiB) |
单机规格族 | 1(16G显存) | 2 | 2~8 | 1 | 30 ~ 1536 |
4 | 4~16 | 1 | |||
6 | 6~24 | 1 | |||
8 | 8~32 | 1 | |||
10 | 10~40 | 1 | |||
12 | 12~48 | 1 | |||
14 | 14~56 | 1 | |||
16 | 16~64 | 1 | |||
24 | 24, 48, 90 | N/A | |||
2(16Gx2显存) | 16 | 16~64 | 1 | ||
24 | 24, 48, 96 | N/A | |||
32 | 32, 64, 128 | N/A | |||
48 | 48, 96, 180 | N/A |
A10
GPU计算卡。
Ampere架构,单GPU显存24 GB,支持RTX、TensorRT等常用加速功能。
支持该GPU卡的Pod规格约束如下:
GPU | vCPU | Memory(GiB) | Memory支持步长(GiB) | 存储(GiB) |
1(24G显存) | 2 | 2~8 | 1 | 30 ~ 256 |
4 | 4~16 | 1 | ||
6 | 6~24 | 1 | ||
8 | 8~32 | 1 | ||
10 | 10~40 | 1 | ||
12 | 12~48 | 1 | ||
14 | 14~56 | 1 | ||
16 | 16~60 | 1 | ||
2(24Gx2显存) | 16 | 16~64 | 1 | 30 ~ 512 |
32 | 32, 64, 120 | N/A | ||
4(24Gx4显存) | 32 | 32, 64, 128 | N/A | 30 ~ 1024 |
64 | 64, 128, 240 | N/A | ||
8(24Gx8显存) | 64 | 64, 128, 256 | N/A | 30 ~ 2048 |
128 | 128, 256, 480 | N/A |
G59
GPU计算卡。
单GPU显存32 GB,支持RTX、TensorRT等常用加速功能,GPU间支持P2P通信。
支持该GPU卡的Pod规格约束如下:
GPU(卡) | vCPU | Memory(GiB) | Memory支持步长(GiB) | 存储(GiB) | 网络 |
1(32G显存) | 2 | 2 ~ 16 | 1 | 30 ~ 256 | 每vCPU 1Gbps |
4 | 4 ~ 32 | 1 | |||
6 | 6 ~ 48 | 1 | |||
8 | 8 ~ 64 | 1 | |||
10 | 10 ~ 80 | 1 | |||
12 | 12 ~ 96 | 1 | |||
14 | 14 ~ 112 | 1 | |||
16 | 16 ~ 128 | 1 | |||
22 | 22,32,64,128 | N/A | |||
2(32Gx2显存) | 16 | 16 ~ 128 | 1 | 30 ~ 512 | |
32 | 32,64,128,256 | N/A | |||
46 | 64,128,256,360 | N/A | |||
4(32Gx4显存) | 32 | 32,64,128,256 | N/A | 30 ~ 1024 | |
64 | 64,128,256,512 | N/A | |||
92 | 128,256,512,720 | N/A | |||
8(32Gx8显存) | 64 | 64,128,256,512 | N/A | 30 ~ 2048 | |
128 | 128,256,512,1024 | N/A | 100Gbps | ||
184 | 256,512,1024,1440 | N/A |