pytorch-intel镜像ReleaseNotes

PyTorch是一个开源的机器学习框架,具有高度灵活性和可扩展性,被广泛用于深度学习任务,如图像分类、目标检测、自然语言处理和生成对抗网络等。Intel® Extension for PyTorch(简称IPEX),为Intel硬件提供额外的性能提升,针对即时模式和图模式都提供了优化,但是与即时模式相比,PyTorch中的图模式通常会通过操作融合等优化技术获得更好的性能。IPEX通过更全面的图优化进一步增强了它们,并优化利用了在Intel CPU上的AVX-512向量神经网络指令和AMX(Advanced Matrix Extensions),以及在Intel离散GPU上的Intel Xe矩阵扩展(XMX)AI引擎。特别的,在第四代英特尔至强可扩展处理器Sapphire Rapids,阿里云规格为g8i的新一代实例上极大提升在深度学习训练和推理的性能。pytorch-intel镜像是专门针对Intel CPU的优化镜像,包含PyTorch和IPEX,为用户提供开箱即用的高性能PyTorch镜像,方便用户进行深度学习研究和实践。

镜像列表

镜像

地址

pytorch-intel

ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-intel:2.2.0.1-alinux3.2304

镜像内容

pytorch-intel:2.2.0.1-alinux3.2304

  • BaseOS: Alinux 3.2304

  • Python: 3.10.13

  • aiodns: 3.0.0

  • aiohttp: 3.9.3

  • aiosignal: 1.3.1

  • appdirs: 1.4.4

  • async-timeout: 4.0.2

  • attrs: 22.2.0

  • bcrypt: 3.2.2

  • Brotli: 1.0.9

  • certifi: 2023.7.22

  • cffi: 1.15.1

  • charset-normalizer: 3.1.0

  • contourpy: 1.0.7

  • coverage: 7.2.1

  • cryptography: 41.0.7

  • cycler: 0.11.0

  • exceptiongroup: 1.1.1

  • filelock: 3.9.0

  • fonttools: 4.47.0

  • frozenlist: 1.3.3

  • fs: 2.4.16

  • fsspec: 2023.6.0

  • idna: 3.4

  • iniconfig: 1.1.1

  • intel-extension-for-pytorch: 2.2.0+cpu

  • Jinja2: 3.1.2

  • kiwisolver: 1.4.4

  • libcomps: 0.1.19

  • lxml: 4.9.2

  • MarkupSafe: 2.1.2

  • matplotlib: 3.7.1

  • mpmath: 1.3.0

  • multidict: 6.0.4

  • networkx: 2.8.8

  • numpy: 1.24.2

  • olefile: 0.46

  • packaging: 23.0

  • paramiko: 2.12.0

  • Pillow: 10.1.0

  • pip: 23.3.1

  • pluggy: 1.0.0

  • ply: 3.11

  • pyarrow: 14.0.2

  • pyasn1: 0.4.8

  • pycairo: 1.23.0

  • pycares: 4.3.0

  • pycparser: 2.21

  • PyNaCl: 1.4.0

  • pyparsing: 3.0.7

  • PySocks: 1.7.1

  • pytest: 7.3.1

  • pytest-cov: 4.0.0

  • python-dateutil: 2.8.2

  • requests: 2.31.0

  • SciPy: 1.10.1

  • setuptools: 65.5.1

  • six: 1.16.0

  • sympy: 1.11.1

  • tomli: 2.0.1

  • torch: 2.2.0.1

  • torchaudio: 2.2.0.1

  • torchvision: 0.17.0.1

  • tqdm: 4.65.0

  • typing_extensions: 4.9.0

  • urllib3: 1.26.18

  • yarl: 1.8.2

镜像运行要求

pytorch-intel镜像充分利用Intel CPU的AVX512和AMX指令,因此需要在支持上述指令的平台上运行。

重要特性说明

1、pytorch-intel镜像性能优化

下表是在阿里云g8i 2xlarge实例上,使用pytorch 2.2.0.1版本,比对pytorch-intel与pytorch镜像,在图像处理场景,对比resnet50模型在不同精度下推理性能。数据为图片处理时延,数值越小性能越好,数据对比看出使用pytorch-intel镜像性能有明显提升。

测试项

fp32

bf16

pytorch镜像

45.48 ms

16.15 ms

pytorch-intel镜像

27.99 ms

10.14 ms

更新记录

2024.05:发布pytorch-intel 2.2.0.1镜像