PyTorch是一个开源的机器学习框架,具有高度灵活性和可扩展性,被广泛用于深度学习任务,如图像分类、目标检测、自然语言处理和生成对抗网络等。Intel® Extension for PyTorch(简称IPEX),为Intel硬件提供额外的性能提升,针对即时模式和图模式都提供了优化,但是与即时模式相比,PyTorch中的图模式通常会通过操作融合等优化技术获得更好的性能。IPEX通过更全面的图优化进一步增强了它们,并优化利用了在Intel CPU上的AVX-512向量神经网络指令和AMX(Advanced Matrix Extensions),以及在Intel离散GPU上的Intel Xe矩阵扩展(XMX)AI引擎。特别的,在第四代英特尔至强可扩展处理器Sapphire Rapids,阿里云规格为g8i的新一代实例上极大提升在深度学习训练和推理的性能。pytorch-intel镜像是专门针对Intel CPU的优化镜像,包含PyTorch和IPEX,为用户提供开箱即用的高性能PyTorch镜像,方便用户进行深度学习研究和实践。
镜像列表
镜像 | 地址 |
pytorch-intel | ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch-intel:2.2.0.1-alinux3.2304 |
镜像内容
pytorch-intel:2.2.0.1-alinux3.2304
BaseOS: Alinux 3.2304
Python: 3.10.13
aiodns: 3.0.0
aiohttp: 3.9.3
aiosignal: 1.3.1
appdirs: 1.4.4
async-timeout: 4.0.2
attrs: 22.2.0
bcrypt: 3.2.2
Brotli: 1.0.9
certifi: 2023.7.22
cffi: 1.15.1
charset-normalizer: 3.1.0
contourpy: 1.0.7
coverage: 7.2.1
cryptography: 41.0.7
cycler: 0.11.0
exceptiongroup: 1.1.1
filelock: 3.9.0
fonttools: 4.47.0
frozenlist: 1.3.3
fs: 2.4.16
fsspec: 2023.6.0
idna: 3.4
iniconfig: 1.1.1
intel-extension-for-pytorch: 2.2.0+cpu
Jinja2: 3.1.2
kiwisolver: 1.4.4
libcomps: 0.1.19
lxml: 4.9.2
MarkupSafe: 2.1.2
matplotlib: 3.7.1
mpmath: 1.3.0
multidict: 6.0.4
networkx: 2.8.8
numpy: 1.24.2
olefile: 0.46
packaging: 23.0
paramiko: 2.12.0
Pillow: 10.1.0
pip: 23.3.1
pluggy: 1.0.0
ply: 3.11
pyarrow: 14.0.2
pyasn1: 0.4.8
pycairo: 1.23.0
pycares: 4.3.0
pycparser: 2.21
PyNaCl: 1.4.0
pyparsing: 3.0.7
PySocks: 1.7.1
pytest: 7.3.1
pytest-cov: 4.0.0
python-dateutil: 2.8.2
requests: 2.31.0
SciPy: 1.10.1
setuptools: 65.5.1
six: 1.16.0
sympy: 1.11.1
tomli: 2.0.1
torch: 2.2.0.1
torchaudio: 2.2.0.1
torchvision: 0.17.0.1
tqdm: 4.65.0
typing_extensions: 4.9.0
urllib3: 1.26.18
yarl: 1.8.2
镜像运行要求
pytorch-intel镜像充分利用Intel CPU的AVX512和AMX指令,因此需要在支持上述指令的平台上运行。
重要特性说明
1、pytorch-intel镜像性能优化
下表是在阿里云g8i 2xlarge实例上,使用pytorch 2.2.0.1版本,比对pytorch-intel与pytorch镜像,在图像处理场景,对比resnet50模型在不同精度下推理性能。数据为图片处理时延,数值越小性能越好,数据对比看出使用pytorch-intel镜像性能有明显提升。
测试项 | fp32 | bf16 |
pytorch镜像 | 45.48 ms | 16.15 ms |
pytorch-intel镜像 | 27.99 ms | 10.14 ms |
更新记录
2024.05:发布pytorch-intel 2.2.0.1镜像