SDK Release Note

1.3.1 Firmware

• 支持二进制包安装（rpm或deb）；

• 支持动态电源管理功能，缺省模式下PPU固件会根据实时的工作负载、温度和功耗等信息动态调节核心频率（200MHZ~最大工作频率）和工作电压；

• 支持PPU锁频功能，详情请参见设备管理工具PPU-SMI；

• 支持固件安全签名和固件双备份功能，确保固件内容的安全性和可靠性；

• 支持电源芯片固件升级功能；

• 支持BMC带外管理功能，包括设备状态监控和固件带外升级等；

1.3.2 内核驱动

• 支持二进制包安装（rpm或deb）和runfile包安装两种方式，用户可根据需要自由选择；

• 支持内核驱动和PPU SDK解耦，v1.0版本之后的内核驱动和PPU SDK可任意组合使用；

• 支持单机单卡、单机8卡/16卡（ICN互联）、多机多卡（ICN互联）和多机多卡（GDR）多种灵活的机器形态，使用GDR功能之前需确保系统已安装alixpu-peermem内核模块（随PPU内核驱动一起发布）；

• 支持PPU故障上报和故障处理；

• 支持auto-reset功能，驱动在检测到kill overtime或cp invalid cmd错误之后会自动进行PPU设备复位，无需用户手动复位即可恢复正常。该功能默认打开，用户可通过ppu-smi查询状态或关闭该功能；

• 支持MPS（Multi Pipe Service）功能，用户可通过ppudbg --config_submit_mode 1/0打开或关闭该功能；

• 支持MPS模式下小模型和大模型任务的潮汐场景使用；

• 支持nvml GPM指标采集功能，包括：sm利用率、sm occupancy、tensor core利用率、显存带宽利用率、pcie读写速率、icn link读写速率；

• 支持MIG（Multi Instance GPU）多实例功能，PPU最多支持8个实例，需注意使用MIG功能时ICN互联功能不可使用；

• 支持整卡直通虚拟化功能，用户可以在宿主机上解绑PPU驱动直通进虚拟机内使用，此时需要注意不同VM之间的ICN隔离；

• 支持SRIOV虚拟化模式下宿主机驱动的热升级功能，即可以在虚拟机内业务运行的同时对宿主机PPU驱动进行更新；

• 支持SRIOV虚拟化模式下虚拟机任务的热迁移功能 （仅限单卡，ICN互联热迁移暂不支持）；

• 新增单机16卡真武810E的正式支持并优化默认的PPU设备顺序（按照机尾排序）；

• 新增L1/L2 cache命中率GPM指标采集，用户可通过DCGM工具查询获取；

• 调整16卡真武810E设备的逻辑编号规则以获取更好的互联性能;

• 新增MPS潮汐模式状态查询功能；

• 新增Xid错误信息查询功能；

• 新增GPM状态查询和GPM状态启停功能；

• 取消HBM parity Xid错误上报；

1.3.3 用户态驱动和运行时

• 兼容绝大多数cuda runtime api (cudaXXX) 和cuda driver api (cuXXX)；

• 新增发生xid 896错误时输出更多错误日志方便定位问题；

• 优化2D/3D类型的cudaMemcpy/cudaMemset性能；

• 支持stream memory opertaion v2版本API；

• 支持graph management中edge data相关API；

• 支持graph management中batch memory op node相关API；

• 支持texture基本功能；

• 优化CUDA_DEVICE_MAX_CONNECTIONS=1时PPU性能；

• 支持cuCtxCreate_v3 api；

• 支持在发生异常之后正确输出device code printf的内容；

• 支持HGGC_EXCLUSIVE_STREAMS环境变量指定stream group映射到不同的硬件队列；

• 修复cuda graph不支持cooperative kernel node的问题；

1.3.4 编译器

• 基于clang/llvm的编译框架，实现面向PPU架构的、host/device混合编程风格的C/C++扩展语言编译器，完整兼容cuda c/c++的编程语言规范；

• 提供丰富的编译功能模块，方便开发者通过API的调用方式，灵活构建编译流程，方便集成JIT编译的能力；

• 丰富的开发和 debug 工具：hgobjdump、memcheck、ppu-gdb、sanitizer library、hgprune，可以让用户更加方便地开发；

• 支持system level reserved shared memory特性；

• gcc host compiler的版本支持范围在[5.5 - 14.2]，clang host compiler的支持范围在[clang 9 - clang 18]；

• 支持triton 2.3.x、3.0.x、3.1.x、3.2.x；

• 部分兼容sparse mma ptx指令；

• 支持部分Texture相关API、Inline PTX 指令功能；

1.3.5 加速库

计算加速库

• 闭源计算库支持：acdnn、acblas、acfft、acsolver、acrand

  • acdnn支持算子

    Conv	BatchNorm	Pooling	Softmax
    Activation	CTCLoss	Dropout	LRN
    LSTM	GRU	MultiHeadAttn	Tensor Ops
    SpartialTransform	Backend fusion

  • acblas支持算子

    Level1 系列 Op	Gemv	Gemm	Matmul + epilogue
    MatrixTransform	trsm	getrfBatched	getrsBatched
    geqrfBatched	gelsBatched

  • acfft支持：R2C/C2R/C2C/D2Z/Z2Z + FFT/iFFT 变换；

  • acsolver支持：矩阵LU分解/求解，cholesky分解/求解，QR分解，SVD分解，特征值分解；

  • acrand支持：

    • 伪随机生成器XORWOW、MRG32K3A、PHILOX4_32_10；

    • 数据分布：Default/Uniform/Normal/LogNormal;

  • acext量化库支持：

    • 支持A16W8/A16W4以及PerChannel/GroupWise的各种Kernel变种；

    • 支持A8W8以及PerChanel/PerToken的各种Kernel变种；

    • 支持WeightonlyBatchedGemv对小batchsize的加速kernel；

    • 支持以下类型 MoE：FP16/BF16，a8w8 PerChanel/PerToken；

• 关键更新：

  • acext：DeepSeek MoE 支持调优；

  • 新增离线 RTC cache 机制支持，可以部分解决 rtc 编译造成的性能问题；

  • blasLt：matmul 新增 Atomics Synchronization 功能支持；

  • blas：更多大模型推理场景性能调优，算子最高提升 20%；

  • conv：新增 activation/weight 不同 format 组合支持；

  • conv：新增 Tensor/Vector Core 算法启发式选择逻辑；

  • conv：优化 group conv 性能，算子最高提升 33x;

  • conv：解决 Tensor > 4GB 时非 tensorflow 场景性能慢问题，最大提升；算子最高提升 230x；

  • solver：新增特征值分解接口支持：syevd, sytrd, ormtr, orgtr；

互联加速库

• 兼容支持绝大多数nccl api (ncclXXX) 和环境变量；

• 支持AllReduce、AllGather、ReduceScatter、Broadcast、Reduce、Send、Recv等典型互联算子；

• 支持单机内多卡通过ICN、PCIE、ShareMemory通信；

• 兼容支持绝大多数nccl api (ncclXXX) 和环境变量；

• 支持AllReduce、AllGather、ReduceScatter、Broadcast、Reduce、Send、Recv等典型互联算子；

• 支持单机内多卡通过ICN、PCIE、ShareMemory通信；

• 支持多机之间通过RDMA (GDR & non GDR) 、Socket、ICN通信;

• 性能优化：

  • 优化了多机真武810E环境下alltoall的性能, 相比之前版本最佳throughput可提升20% ~ 60%，目前需配置参考环境变量才能达到性能优化效果；

  • 优化了在输入或输出buffer非64B对齐时的算子性能, allgather在相应场景下可有约40%提升；

  • 解决了模型中通信算子性能与单测算子benchmark性能不一致的部分问题，关键算子像allreduce等在部分场景可有约20%提升;

  • 强oneShot与twoShot kernels对不同直连topo的感知及相应topo下的性能参数优化；

• 多机多卡debug功能增强：

  • 增强了ppu device kernel执行状态监测功能；

    • 消除了监测方案对kernel执行时间的额外消耗；

    • 增加对kernel执行状态dump旧文件的自动清理功能；

    • 增加pccl dump目录可配置的功能；

    • 优化监控线程的出错信息显示以减少对主任务的干扰；

  • 增加单机oneShot与twoShot kernel状态dump功能支持；

  • 增加对真武810E多卡产品的icn speed及topo正确性检查功能支持；

• 增加对EIC网卡环境下的多机功能支持，可配合高网团队EIC SDK使用；

• 增加comm split场景下的splitShare功能支持；

• 增加p2p transport下使用DMA engine做多卡间传输的初步功能支持；

• 增加对ncclNet plugin v5与v6版本的支持；

• 增加对新的log subsys level 'NCCL_CALL' 的支持，可显示打印程序所调用的pccl API及参数；

• 增强pccl kernel的hgtx info内容以包含所在comm的transport type信息与kernel输入、输出buff信息；

• 修复多机多卡icn scaleout功能在多机非icn连接情况下的一些问题；

• 修复alltoallV在部分使用场景下会hang的问题；

• 修复NCCL_MAX_P2P_NCHANNELS设置值比NCCL_MAX_NCHANNELS小时会造成结果错误的问题；

• 修复debug log打印时所存在的内部buff潜在溢出问题；

• pccl tools：

  • DeviceOrderSearch tool:

    • 新增 'DeviceOrderSearch' 工具支持，用于Megatron框架模型训练任务上基于并行训练配置得到真武810E机器上的最佳 visible device order设置；

  • pccl perf：

    • 支持AllReduce、AllGather、ReduceScatter、AlltoAll、Broadcast及Reduce；

    • 支持基于hgpti callback机制进行pccl device kernel时间统计的新方式，具体可见：

    • 去除对libmpicxx.so的依赖；

  • p2pBandwidthAndLatencyPerf工具增强：

    • 支持真武810E产品在各种多卡互联topo server下的icn p2p互联带宽与延迟性能评估；

  • pccl check tools：

    • 支持真武810E产品在多卡或多机多卡等场景下的功能readiness检查；

1.3.6 Video/Image codec硬件加速

兼容Nvidia Video Codec SDK，包括cuvid decode, nvenc和nvjpeg；兼容Nvidia 2D Image NPP接口。基于此，可以直接支持ffmpeg, OpenCV，DALI，PyAV（torchvideo, torchvision...），TorchCodec 等上层框架的Codec硬件加速能力，不需要额外修改代码去适配。

Video Decode

• Support Nvidia cuvid decoder。

• Codecs：

  • HEVC (H.265) - ITU-T Rec. H.265 (04/2013), ISO/IEC 23008-2

    • Main Profile, Level 5.1, High Tier

    • Main10 Profile, Level 5.1, High Tier

    • Main Still Profile

  • VP9 - vp9-bitstream-specification-v0.6-20160331-draft

    • Profile 0, 8-bit

    • Profile 2, 10-bit

  • AVC (H.264) - ITU-T Rec. H.264 (03/2010) / ISO/IEC 14496-10

    • Main Profile, levels 1 - 5.2

    • High Profile, levels 1 - 5.2

    • High 10 Profile, levels 1 - 5.2

    • Baseline Profile, levels 1 - 5.2

  • AV1 Bitstream & Decoding Process Specification Version 1.0.0 with Errata 1

    • Main Profile, Level 5.1

  • AVS2

• Resolution Up to 8192x8192

• Up to FHD 192 streams

Video Encode

• Support nvenc

• Codecs：

  • AVC(H.264)：Spec Version 12:ISO/IEC 14496-10 / ITU-T Rec. H.264 (03/2010)

    • Baseline Profile, levels 1 – 5.2

    • Main Profile, levels 1 - 5.2

    • High Profile, levels 1 – 5.2

    • High 10 Profile, levels 1 - 5.2

  • HEVC(H265)：ITU-T Rec. H.265 (04/2013), ISO/IEC 23008-2

    • Main Profile, Level 5.1, High Tier

    • Main10 profile, Level 5.1, High Tier

    • Main Still Profile

  • AV1 Bitstream Specification Version 1.0.0 with Errata 1

    • Main Profile, Level 5.1

• Resolution up to 4K support

• Support input RGB format (converted to YUV420 via inlinePP)

• Support crop, scale, rotate with inlinePP

• Up to FHD 32 streams

JPEG：

• Support nvjpeg decoder & encoder

• Resolution up to 32Kx32K

• Support RGB format input and output with inlinePP

• Support crop, scale, rotate with inlinePP

• Up to UHD 960FPS

Image Process：

• Support Nvidia 2D Image NPP

1.3.7 软件工具

• 为了满足云计算大规模集群监控需求，我们发布了如下PPU管理和监控工具和库文件，以便集成到客户集群运维监控系统中：

  • PPU设备管理工具ppu-smi类似Nvidia-smi。详细介绍请参考设备管理工具PPU-SMI；

  • ppu-smi v1.5新功能主要包含：

    • 更新已知问题

    • 增加查询SDK各组件版本信息的描述

  • 数据中心管理和监控工具PPU DCG类似Nvidia DGCM，详情请参考管理监控工具DCGM；

  • DCGM v1.5新功能主要包含：

    • 增加Docker环境使用DCGM的说明

  • hgml类似Nvidia nvml；

• 发布了PPU性能分析工具Asight Systems和Asight Compue（类似 Nvidia Nsight Systems/ Compute），可以支持用户进行单机、多机训练、推理等场景的性能分析；

  • Asight Systems 是一款低开销的系统级的性能分析工具，用来采集系统各种事件，CPU和PPU的活动，API执行时间以及相关调用栈，NVTX，CPU/PPU activity关联关系等，在Timeline View上统一的可视化呈现出来。 通过imeline View，开发人员可以方便分析CPU/PPU的负载和关联关系，找到性能瓶颈，确保CPU和PPU能够协调的工作，确保最大的并行度。详细介绍请参考程序性能分析套件Asight Systems；

  • Asight Systems v1.5新功能主要包含:

    • asys stats支持HGTX PPU projection summary统计功能

    • asys stats支持HGGC PPU memory跟踪数据量 / 耗时统计功能

    • asys stats子命令PPU kernel相关统计功能支持添加HGTX range前缀

    • asys stats子命令HGTX Range Summary支持按照进程过滤

    • asys stats子命令PPU跟踪相关统计功能支持指定统计的PPU device列表

    • asys stats子命令Device Memory Uasge Details / Summary支持2 / 4种查看模式

    • asys analyze子命令PPU时间利用率分析支持指定时间范围的选择模式

    • asys专家系统和统计系统description框说明文本简化，增加说明文档跳转链接

    • asys支持限制生成报告文件尺寸

    • asys支持通过--hggc-memory-usage选项使能采集device和pinned内存使用情况

    • 支持采集CPU侧动态分配内存的使用情况，支持内存泄露分析 / 内存使用量统计 / 申请次数统计

    • 支持采集MPS模式使能时HGGC context关联的计算资源信息

    • Memory View支持4种查看模式以及火焰图

    • Timeline View 优化PPU activity依赖关系的显示方式

    • Timeline View支持分组显示功能，允许将感兴趣的时间线行添加到Group View中并单独显示

    • Timeline View支持Device Memory Timeline，帮助用户分析各模块的内存的使用情况，支持三种模式：普通模式；分组模式；分组着色模式

    • Timeline View支持通信算子分层显示

    • Timeline View支持不同kernel以不同颜色显示

    • Timeline View支持CPU侧heap内存时间线显示

    • Time range tooltip中支持显示PPU active/idle时间占比

    • Timeline View 选择time range时按住Shift键支持吸附至最近的时间线起点/终点

    • Timeline View支持按shift/ctrl多选时间线行

    • Timeline View性能优化，解决了打开超大报告GUI卡顿的问题

    • HGGC API支持C调用栈和Python调用栈的混合显示

• Asight Compute是一款kernel性能分析工具，通过采集PPU硬件perf counter，组合成为一系列性能指标，我们称为metrics。GUI通过各种维度，把这些metrics呈现出来, 帮助用户深入分析和优化kernel，详细介绍请参考Kernel分析器Asight Compute；

• Asight Compute v1.5新功能主要包含:

  • Details Page中Memory Chart支持按transfer size/throughput显示

  • Details Page中Memory Chart连接链路tooltip中显示链路利用率

  • Details Page中的tooltip支持pin住，pin住后支持选择文本拷贝

  • Details Page中Launch Statistics中增加 Stack Size Per Thread

  • Details Page中Launch Statistics中增加 Driver SharedMemory Per Block

  • Baseline按钮布局更新，明确各按钮功能

  • Source Page支持点击分支指令跳转，支持高亮所有搜索结果

  • Source Page增强resolve源代码，支持自动resolve同目录结构其它文件

• 发布了PPU调试工具PPU-GDB，允许在同一个应用程序中同时调试GPU和CPU代码，最新更新：

  • 在layout asm模式中优化kernel managed name的显示长度

  • 支持blockIdx等internal variables的条件断点，支持register条件断点

  • 支持gdb python extension特性（python版本范围在3.6-3.10）

  • 支持device kernel断点的触发行为：一次触发和多次触发，默认为：一次触发

• 发布了PPU Memcheck，是一组用于功能性正确检查的工具套件。该套件中包含了一系列的检查工具，包括memcheck、initcheck、synccheck、racecheck；

• 发布了PPU Binary工具hgobjdump，用于提取binary中的device相关信息；

• 发布了PPU Prune 工具hgprune，用于提取binary中的device相关信息；

1.5.1 KMD兼容性

V1.5 版本向前兼容 V1.3 与 V1.4 的 kmd/mcu_fw。

1.5.2 Firmware兼容性

真武810E需要使用 V1.2.1 以上的 mcu_fw 版本。

1.5.3 SDK兼容性

SDK v1.5从文件、编程接口和编译环境上存在有四类调整，会导致同之前SDK版本的组件或编译产生的组件共存情况下，存在不兼容性的情形。相关的调整内容如下：

• 将先前SDK中包含的libgomp.so、libomp.so文件移除，改为直接依赖相应OS环境以及host compiler(gcc/clang)所提供的libgomp.so、libomp.so库文件；

此改动可能导致旧版程序执行在v1.5 SDK环境中存在找不到相应so文件的报错；

• 在编译命令option层面，将“-alippu-xxx的option 选项值 修改为 “-ppu-xxx”的格式；

这些options主要包含在一些定制化编译的场景中，此改动可能导致在混合版本的源代码编译或JIT运行过程中出现编译报错;

• 在ptx扩展指令层面，有几类扩展ptx指令的调整：

  1. 将“alippu.mma.xxx”的ptx指令修改为“ppu.mma.xxx";

  2. 将“alippu.ldmatrix.xxx”的ptx指令修改为“ppu.ldmatrix.xxx";

  3. 将“cp.async.aiu.xxx”的ptx指令修改为“ppu.cp.async.aiu.xxx”;

• SDK 头文件中自定义类型“__ali_bfloat16”修改为“__ppu_bfloat16”;

后面的三类改动会导致之前开源的部分PPU代码库存在编译问题（vllm/cutlass/flash-attn/flashinfer等），需要拉取适配v1.5改动的代码库。

总的来说，以上四类调整会导致在源代码不更新、运行组件局部升级情况下存在编译/运行的兼容性问题，这在内部SDK兼容测试中也得到了体现，建议大家基于完整的v1.5 SDK环境来做编译和运行环境的部署。

测试结论

本次测试随机选取6个客户常用whls，覆盖6个场景，包括Asys和Acu工具，所有测试结果FAlL as expected。

• SDK 1.5镜像里大概率不兼容用低版本SDK编译出来的Whls，workaround方法是建议用户手动安装libomp的库后尝试继续使用，不保证UT通过率；

• SDK 1.4镜像里大概率不兼容高版本SDK1.5编译出来的Whls，UT大概率不能通过；

• 对于JIT类型的库如triton等，确定交叉版本的SDK和库不兼容；

• 混合SDK版本进行编译和安装Whls大概率不兼容。比如SDK1.4镜像里不建议使用混合SDK编译出来的库，SDK1.5镜像里不建议编译低版本的库等；

• SDK1.5镜像兼容SDK1.4版本的工具Asys和Acu报告；

1.5.4 asight文件兼容性

v1.5 版本中asys和acu的输出文件兼容v1.4的asys和acu client工具；

2.3.1 开源框架/库支持列表

说明：

• Pytorch开源支持说明：

  • Pytorch 2.1及其之前的版本对标NGC

  • Pytorch 2.1.2及其之后的版本对标torch开源社区RELEASE版本

• TensorFlow开源支持说明：

  • Tensorflow Google社区开源版本1.12仅支持CUDA 9、1.15仅支持CUDA 10 https://www.tensorflow.org/install/source?hl=zh-cn#gpu_support_3

    发布Tensorflow 1.15采用NV官方NGC nv22.04的开源版本 https://docs.nvidia.com/deeplearning/frameworks/support-matrix/index.html#unique_1997996242

  • Tensorflow 1.12采用PAI TF 1.12

  • Tensorflow 2.4NGC NV 21.02

  • Tensorflow 2.6 2.7 Google官方开源社区RELEASE版本

  • Tensorflow 2.8 NGC NV 22.04

  • Tensorflow 2.10及以上使用Google官方开源社区RELEASE版本

• 带(*)标志的，如FlashAttention(*) 与cutlass(*)等，完全对标社区开源版本，未做性能优化，仅功能支持。

• 其它开源框架/开源库 除个别对标NGC以外，大部分对标开源社区RELEASE版本，详情请参考各个使用指南。

• 对于开源框架/开源库，PPU SDK兼容编译、基本功能运行和UT测试，由于资源限制V1.5 RELEASE并没有解决所有测试中发现的问题，遗留问题请参考【已知问题】章节。

2.3.2 开源框架兼容性