ACS支持的GPU规格族

ACS支持多种GPU卡型,用户可以在集群中使用alibabacloud.com/gpu-model-series标签指定如下的GPU卡。不同类型GPU卡适用场景有所差别,用户可以根据规格族列表按需选择。

GU8TF

GPU计算卡。

  • 显存容量提升至96 GB,支持FP8浮点数格式,支持70 B及更大模型的单机推理。

  • 8卡之间支持NVLINK互联,适用于中小模型训练场景。节点间支持1.6T带宽的高速RDMA互联。

支持该GPU卡的Pod规格约束如下:

GPU

vCPU

Memory(GiB)

Memory支持步长(GiB)

存储(GiB)

1(96G显存)

2

2 ~ 16

1

30 ~ 256

4

4 ~ 32

1

6

6 ~ 48

1

8

8 ~ 64

1

10

10 ~ 80

1

12

12 ~ 96

1

14

14 ~ 112

1

16

16 ~ 128

1

22

22, 32, 64, 128

N/A

2(96Gx2显存)

16

16 ~ 128

1

30 ~ 512

32

32, 64, 128, 230

N/A

46

64, 128, 230

N/A

4(96Gx4显存)

32

32, 64, 128, 256

N/A

30 ~ 1024

64

64, 128, 256, 460

N/A

92

128, 256, 460

N/A

8(96Gx8显存)

64

64, 128, 256, 512

N/A

30 ~ 2048

128

128, 256, 512, 920

N/A

184

256, 512, 920

N/A

GU8TEF

GPU计算卡。

  • 显存容量提升至141 GB,支持FP8浮点数格式,多卡形态下支持DeepSeek R1的单机推理。

  • 8卡之间支持NVLINK互联,适用于中小模型训练场景。节点间支持1.6T带宽的高速RDMA互联。

支持该GPU卡的Pod规格约束如下:

GPU

vCPU

Memory(GiB)

Memory支持步长(GiB)

存储(GiB)

1(141G显存)

2

2 ~ 16

1

30 ~ 768

4

4 ~ 32

1

6

6 ~ 48

1

8

8 ~ 64

1

10

10 ~ 80

1

12

12 ~ 96

1

14

14 ~ 112

1

16

16 ~ 128

1

22

22, 32, 64, 128, 225

N/A

2(141Gx2显存)

16

16 ~ 128

1

30 ~ 1536

32

32, 64, 128, 256

N/A

46

64, 128, 256, 450

N/A

4(141Gx4显存)

32

32, 64, 128, 256

N/A

30 ~ 3072

64

64, 128, 256, 512

N/A

92

128, 256, 512, 900

N/A

8(141Gx8显存)

64

64, 128, 256, 512

N/A

30 ~ 6144

128

128, 256, 512, 1024

N/A

184

256, 512, 1024, 1800

N/A

L20(GN8IS)

GPU计算卡。

  • 支持TensorRT等常用加速功能,支持FP8浮点数格式,GPU间支持P2P通信。

  • 显存容量提升至48 GB,多卡形态下,支持70 B及更大模型的单机推理。

支持该GPU卡的Pod规格约束如下:

GPU

vCPU

Memory(GiB)

Memory支持步长(GiB)

存储(GiB)

1(48G显存)

2

2 ~ 16

1

30 ~ 256

4

4 ~ 32

1

6

6 ~ 48

1

8

8 ~ 64

1

10

10 ~ 80

1

12

12 ~ 96

1

14

14 ~ 112

1

16

16 ~ 120

1

2(48Gx2显存)

16

16 ~ 128

1

30 ~ 512

32

32, 64, 128, 230

N/A

4(48Gx4显存)

32

32, 64, 128, 256

N/A

30 ~ 1024

64

64, 128, 256, 460

N/A

8(48Gx8显存)

64

64, 128, 256, 512

N/A

30 ~ 2048

128

128, 256, 512,920

N/A

L20X(GX8SF)

GPU计算卡。

  • 显存容量提升至141 GB,多卡形态下,支持更大模型的单机推理。

  • 8卡之间支持NVLINK互联,适用于大模型训练、推理场景。节点间支持3.2T带宽的高速RDMA互联。

支持该GPU卡的Pod规格约束如下:

GPU

vCPU

Memory(GiB)

Memory支持步长(GiB)

存储(GiB)

8(141Gx8显存)

184

1800

N/A

30 ~ 6144

P16EN

GPU计算卡。

  • 显存容量提升至96 GB,支持FP16浮点数格式,多卡形态下支持DeepSeek R1的单机推理。

  • 16卡之间支持700GB/s高速互联,适用于中小模型训练场景。节点间支持1.6T带宽的高速RDMA互联。

支持该GPU卡的Pod规格约束如下:

GPU

vCPU

Memory(GiB)

Memory支持步长(GiB)

存储

1(96G显存)

2

2~16

1

30G ~ 384G

4

4~32

1

6

6~48

1

8

8~64

1

10

10~80

1

2(96Gx2显存)

4

4~32

1

30G ~ 768G

6

6~48

1

8

8~64

1

16

16~128

1

22

32, 64, 128, 225

N/A

4(96Gx4显存)

8

8~64

1

30G ~ 1.5T

16

16~128

1

32

32, 64, 128, 256

N/A

46

64, 128, 256, 450

N/A

8(96Gx8显存)

16

16~128

1

30G ~ 3T

32

32, 64, 128, 256

N/A

64

64, 128, 256, 512

N/A

92

128, 256, 512, 900

N/A

16(96Gx16显存)

32

32, 64, 128, 256

N/A

30G ~ 6T

64

64, 128, 256, 512

N/A

128

128, 256, 512, 1024

N/A

184

256, 512, 1024, 1800

N/A

G49E

GPU计算卡。

  • GPU显存48 GB,支持RTX、TensorRT等常用加速功能,GPU间支持P2P通信。

支持该GPU卡的Pod规格约束如下:

GPU

vCPU

Memory(GiB)

Memory支持步长(GiB)

存储(GiB)

1(48G显存)

2

2~16

1

30 ~ 256

4

4~32

1

6

6~48

1

8

8~64

1

10

10~80

1

12

12~96

1

14

14~112

1

16

16~120

1

2(48Gx2显存)

16

16~128

1

30 ~ 512

32

32, 64, 128, 230

N/A

4(48Gx4显存)

32

32, 64, 128, 256

N/A

30 ~ 1024

64

64, 128, 256, 460

N/A

8(48Gx8显存)

64

64, 128, 256, 512

N/A

30 ~ 2048

128

128, 256, 512, 920

N/A

T4

GPU计算卡。

  • Turing架构,单GPU显存16 GB(GPU显存带宽320 GB/s)。

  • 可变精度Tensor Cores支持65 TFLOPS FP16、130 INT8 TOPS以及260 INT4 TOPS。

支持该GPU卡的Pod规格约束如下:

规格族

GPU

vCPU

Memory(GiB)

Memory支持步长(GiB)

存储(GiB)

单机规格族

1(16G显存)

2

2~8

1

30 ~ 1536

4

4~16

1

6

6~24

1

8

8~32

1

10

10~40

1

12

12~48

1

14

14~56

1

16

16~64

1

24

24, 48, 90

N/A

2(16Gx2显存)

16

16~64

1

24

24, 48, 96

N/A

32

32, 64, 128

N/A

48

48, 96, 180

N/A

A10

GPU计算卡。

  • Ampere架构,单GPU显存24 GB,支持RTX、TensorRT等常用加速功能。

支持该GPU卡的Pod规格约束如下:

GPU

vCPU

Memory(GiB)

Memory支持步长(GiB)

存储(GiB)

1(24G显存)

2

2~8

1

30 ~ 256

4

4~16

1

6

6~24

1

8

8~32

1

10

10~40

1

12

12~48

1

14

14~56

1

16

16~60

1

2(24Gx2显存)

16

16~64

1

30 ~ 512

32

32, 64, 120

N/A

4(24Gx4显存)

32

32, 64, 128

N/A

30 ~ 1024

64

64, 128, 240

N/A

8(24Gx8显存)

64

64, 128, 256

N/A

30 ~ 2048

128

128, 256, 480

N/A

G59

GPU计算卡。

  • GPU显存32 GB,支持RTX、TensorRT等常用加速功能,GPU间支持P2P通信。

支持该GPU卡的Pod规格约束如下:

GPU(卡)

vCPU

Memory(GiB)

Memory支持步长(GiB)

存储(GiB)

网络

1(32G显存)

2

2 ~ 16

1

30 ~ 256

vCPU 1Gbps

4

4 ~ 32

1

6

6 ~ 48

1

8

8 ~ 64

1

10

10 ~ 80

1

12

12 ~ 96

1

14

14 ~ 112

1

16

16 ~ 128

1

22

22,32,64,128

N/A

2(32Gx2显存)

16

16 ~ 128

1

30 ~ 512

32

32,64,128,256

N/A

46

64,128,256,360

N/A

4(32Gx4显存)

32

32,64,128,256

N/A

30 ~ 1024

64

64,128,256,512

N/A

92

128,256,512,720

N/A

8(32Gx8显存)

64

64,128,256,512

N/A

30 ~ 2048

128

128,256,512,1024

N/A

100Gbps

184

256,512,1024,1440

N/A