SDK Release Note

1.3.1 Firmware

• 支持二进制包安装（rpm或deb）；

• 支持动态电源管理功能，缺省模式下PPU固件会根据实时的工作负载、温度和功耗等信息动态调节核心频率（200MHZ~最大工作频率）和工作电压；

• 支持PPU锁频功能，详情请参见设备管理工具PPU-SMI；

• 支持固件安全签名和固件双备份功能，确保固件内容的安全性和可靠性；

• 支持电源芯片固件升级功能；

• 支持BMC带外管理功能，包括设备状态监控和固件带外升级等；

1.3.2 内核驱动

• 支持二进制包安装（rpm或deb）和runfile包安装两种方式，用户可根据需要自由选择；

• 支持内核驱动和PPU SDK解耦，v1.0版本之后的内核驱动和PPU SDK可任意组合使用；

• 支持单机单卡、单机8卡/16卡（ICN互联）、多机多卡（ICN互联）和多机多卡（GDR）多种灵活的机器形态，使用GDR功能之前需确保系统已安装alixpu-peermem内核模块（随PPU内核驱动一起发布）；

• 支持PPU故障上报和故障处理；

• 支持auto-reset功能，驱动在检测到kill overtime或cp invalid cmd错误之后会自动进行PPU设备复位，无需用户手动复位即可恢复正常。该功能默认打开，用户可通过ppu-smi查询状态或关闭该功能；

• 支持MPS（Multi Pipe Service）功能，用户可通过ppudbg --config_submit_mode 1/0打开或关闭该功能；

• 支持MPS模式下小模型和大模型任务的潮汐场景使用；

• 支持nvml GPM指标采集功能，包括：sm利用率、sm occupancy、tensor core利用率、显存带宽利用率、pcie读写速率、icn link读写速率；

• 支持MIG（Multi Instance GPU）多实例功能，PPU最多支持8个实例，需注意使用MIG功能时ICN互联功能不可使用；

• 支持整卡直通虚拟化功能，用户可以在宿主机上解绑PPU驱动直通进虚拟机内使用，此时需要注意不同VM之间的ICN隔离；

• 支持SRIOV虚拟化功能，PPU最多支持8个VF （Virtual Function），需注意SRIOV和ICN互联同时开启时，只允许一个VF拥有ICN互联能力；

• 支持SRIOV虚拟化模式下宿主机驱动的热升级功能，即可以在虚拟机内业务运行的同时对宿主机PPU驱动进行更新；

• 支持SRIOV虚拟化模式下虚拟机任务的热迁移功能 （仅限单卡，ICN互联热迁移暂不支持）；

• 新增单机16卡真武810E的正式支持并优化默认的PPU设备顺序（按照机尾排序）；

• 新增L1/L2 cache命中率GPM指标采集，用户可通过DCGM工具查询获取；

• 修复使用v1.2/v1.2.1驱动采集ppu利用率指标时CPU占用率过高问题；

• 修复MPS潮汐模式切换时新建cuda context可能导致程序hang的问题；

• 修复PPU设备复位和GPM指标监控程序同时发生时引发的系统宕机问题；

• 修复rund场景频繁绑定/解绑PPU设备可能出现的mcu超时/掉卡问题；

• 调整16卡真武810E设备的逻辑编号规则以获取更好的互联性能;

• 优化驱动加载时间和驱动内存占用；

• 新增MPS潮汐模式状态查询功能；

• 新增Xid错误信息查询功能；

• 新增GPM状态查询和GPM状态启停功能；

• 修复ppu-smi工具的进程利用率数据和整卡利用率数据不对齐的问题；

• 修复ppu-smi工具的进程显存使用量和整卡显存使用量不对齐的问题；

• 修复使用unified memory （cudaMallocManaged）时概率性的系统hang的问题；

• 修复DCGM压测ECC page retirement pending flag未清除问题；

• 取消HBM parity Xid错误上报；

1.3.3 用户态驱动和运行时

• 兼容绝大多数cuda runtime api (cudaXXX) 和cuda driver api (cuXXX)；

• 新增发生xid 896错误时输出更多错误日志方便定位问题；

• 优化2D/3D类型的cudaMemcpy/cudaMemset性能；

• 修复asys profiling时偶发的hgpti activity record cycle invalid错误；

• 支持环形print buffer，增强cuda device code中printf打印功能；

• 支持stream memory opertaion v2版本API；

• 支持graph management中edge data相关API；

• 支持graph management中batch memory op node相关API；

• 修复真武810E平台上qwen2-72b大模型在vllm cuda graph enable情况下出现推理乱码的问题；

• 修复fcn模型训练过程显存未释放的问题；

• 修复真武810E平台上DCGM压力测试概率性失败的问题；

• 修复程序中发生cuda launch error之后因为llvm符号冲突发生core的问题；

• 修复使用multiprocessing多进程方式执行模型推理报错的问题；

1.3.4 编译器

• 基于clang/llvm的编译框架，实现面向PPU架构的、host/device混合编程风格的C/C++扩展语言编译器，完整兼容cuda c/c++的编程语言规范；

• 提供丰富的编译功能模块，方便开发者通过API的调用方式，灵活组合编译流程，方便集成JIT编译的能力；

• 丰富的开发和debug 工具：hgobjdump、memcheck、ppu-gdb、sanitizer library，可以让用户更加方便地调试算法实现；

• 支持system level reserved shared memory特性；

• 支持triton 2.3.x、3.0.x；

• gcc host compiler的版本支持范围在[5.5 - 12.3]；

• ppu-gdb:

  • 在layout asm模式中优化kernel managed name的显示长度；

  • 支持blockIdx等internal variables的条件断点，支持register条件断点；

  • 支持gdb python extension特性（python版本范围在3.6-3.10）；

  • 支持device kernel断点的触发行为：一次触发和多次触发，默认为：一次触发；

1.3.5 加速库

计算加速库

• 闭源计算库支持：acdnn、acblas、acfft、acsolver、acrand

  • acdnn支持算子

    Conv	BatchNorm	Pooling	Softmax
    Activation	CTCLoss	Dropout	LRN
    LSTM	GRU	MultiHeadAttn	Tensor Ops
    SpartialTransform	Backend fusion

  • acblas支持算子

    Level1 系列 Op	Gemv	Gemm	Matmul + epilogue
    MatrixTransform	trsm	getrfBatched	getrsBatched
    geqrfBatched	gelsBatched

  • acfft支持：R2C/C2R/C2C/D2Z/Z2Z + FFT/iFFT 变换；

  • acsolver支持：矩阵LU分解/求解，cholesky分解/求解，QR分解，SVD分解Jaccobi方法；

  • acrand支持：

    • 伪随机生成器XORWOW、MRG32K3A、PHILOX4_32_10；

    • 数据分布：Default/Uniform/Normal/LogNormal;

  • acext量化库支持：

    • 支持A16W8/A16W4以及PerChannel/GroupWise的各种Kernel变种；

    • 支持A8W8以及PerChanel/PerToken的各种Kernel变种；

    • 支持WeightonlyBatchedGemv对小batchsize的加速kernel；

• 关键更新：

  • cutlass3：新增group gemm persisent策略支持；

  • 进一步提升FA在真武810E上的性能，最高提升85%；

  • acext：新增a16w8 sub-channel量化支持；

  • MoE：新增a16w4量化支持和调优；

  • xformers：修复attn mask场景inf问题；

  • RTC：新增对group conv、gemv的RTC功能支持；

  • 进一步增加预编译实例，减少RTC几率；

  • blas：新增rank=1/2 Level2 API支持；

  • blas：修复k=0时gemm行为不正确问题；

  • blas INT8 gemm：新增INT8输支持；新增NN/TN/TT支持；

  • blas：新增cublasSgetriBatched支持；

  • conv：优化wgrad > 4GB输入场景性能超100倍；

  • conv：修复1D SpatialTF exception问题；

  • acFFT：新增功能支持C2C/D2Z/Z2Z，新增多个辅助API支持；

  • solver：新增支持cholesky分解/求解，QR分解，SVD分解Jaccobi方法；

互联加速库

• 兼容支持绝大多数 nccl api (ncclXXX) 和环境变量

• 支持AllReduce、AllGather、ReduceScatter、Broadcast、Reduce、Send、Recv等典型互联算子；

• 支持单机内多卡通过ICN、PCIE、ShareMemory通信；

• 支持多机之间通过RDMA (GDR & non GDR) 、Socket通信;

• 支持多机上的610卡间进行icn scale out方式通信；

• 多机多卡debug功能增强，支持自动监测ppu device kernel执行hang的功能，支持分层次的comm状态dump功能并支持通过配置文件显示trigger dump；

• 优化多机场景下网卡通信与ppu device之间的同步开销，支持NCCL_GDR_COPY_SYNC与PCCL_GDR_USE_DEV_MEM_FOR_RX_TAIL的功能；

• 增加 nccl 高版本 API 、环境变量及配置支持：

  • 新增 API 功能支持：ncclCommInitRankConfig、ncclCommFinalize、ncclCommSplit、ncclCommRegister、ncclCommDeregister、ncclMemAlloc、ncclMemFree、ncclCommGetAsyncError；

  • 新增环境变量功能支持：NCCL_P2P_DIRECT_DISABLE、NCCL_NET_PLUGIN、NCCL_COMM_BLOCKING、NCCL_LOCAL_REGISTER、NCCL_REPORT_CONNECT_PROGRESS；

  • 支持新的debug log subsys字段：NCCL_PROFILE & NCCL_ALLOC & NCCL_DUMP；

  • 添加ncclRemoteError错误字段支持；

• 其它重要功能与问题修复:

  • 优化多机多卡下的graph search逻辑以修复search阶段与connect阶段的proxyRank不一致的问题；

  • 优化单机多卡场景下device memory的使用；

  • 优化group mode下运行时host memory分配与释放；

  • 修复单机四卡非icn全互联场景下FC algo使用时会crash的问题；

  • 修复多机场景下机器间path type不一致时未能选择最佳path type的问题；

• pccl tools：

  • pccl perf：

    • 支持AllReduce、AllGather、ReduceScatter、AlltoAll、Broadcast及Reduce；

    • 优化event based device kernel时间统计方式；

  • p2pBandwidthAndLatencyPerf工具增强：

    • 支持真武810E等产品在各种多卡互联topo server下的icn p2p互联带宽与延迟性能评估；

    • 支持类似nv p2p perf bench可以batch输出所有读写mode下带宽与延迟数据的功能；

    • 支持显示p2p bandwidth perf ratio矩阵的功能；

    • 支持可指定devices subset以进行p2p perf bench的功能；

    • 修复双向CE mode读数据perf异常的问题；

  • pccl check tools：

    • 支持真武810E等产品在多卡或多机多卡等场景下的功能 readiness 检查；

    • 增加16 x 真武810E互联topo正确性的检查功能；

    • 增加对icn link speed正确性的检查功能；

    • 增加对acsCtrl配置正确性的检查功能；

1.3.6 Video/Image codec硬件加速

兼容Nvidia Video Codec SDK，包括cuvid decode、nvenc和nvjpeg；兼容Nvidia 2D Image NPP接口。基于此，可以直接支持ffmpeg、opencv、DALI、pytorch等上层框架的Codec硬件加速能力，不需要额外修改代码去适配。

Video Decode

• Support Nvidia cuvid decoder。

• Codecs：

  • HEVC (H.265) - ITU-T Rec. H.265 (04/2013), ISO/IEC 23008-2

    • Main Profile, Level 5.1, High Tier

    • Main10 Profile, Level 5.1, High Tier

    • Main Still Profile

  • VP9 - vp9-bitstream-specification-v0.6-20160331-draft

    • Profile 0, 8-bit

    • Profile 2, 10-bit

  • AVC (H.264) - ITU-T Rec. H.264 (03/2010) / ISO/IEC 14496-10

    • Main Profile, levels 1 - 5.2

    • High Profile, levels 1 - 5.2

    • High 10 Profile, levels 1 - 5.2

    • Baseline Profile, levels 1 - 5.2

  • AV1 Bitstream & Decoding Process Specification Version 1.0.0 with Errata 1

    • Main Profile, Level 5.1

  • AVS2

• Resolution Up to 8192x8192

• Up to FHD 192 streams

Video Encode

• Support nvenc

• Codecs：

  • AVC(H.264)：Spec Version 12:ISO/IEC 14496-10 / ITU-T Rec. H.264 (03/2010)

    • Baseline Profile, levels 1 – 5.2

    • Main Profile, levels 1 - 5.2

    • High Profile, levels 1 – 5.2

    • High 10 Profile, levels 1 - 5.2

  • HEVC(H265)：ITU-T Rec. H.265 (04/2013), ISO/IEC 23008-2

    • Main Profile, Level 5.1, High Tier

    • Main10 profile, Level 5.1, High Tier

    • Main Still Profile

  • AV1 Bitstream Specification Version 1.0.0 with Errata 1

    • Main Profile, Level 5.1

• Resolution up to 4K support

• Support input RGB format (converted to YUV420 via inlinePP)

• Support crop, scale, rotate with inlinePP

• Up to FHD 32 streams

Jpeg：

• Support nvjpeg decoder & encoder

• Resolution up to 32Kx32K

• Support RGB format input and output with inlinePP

• Support crop, scale, rotate with inlinePP

• Up to UHD 960FPS

Image Process：

• Support Nvidia 2D Image NPP

1.3.7 软件工具

• 为了满足云计算大规模集群监控需求，我们发布了如下PPU管理和监控工具和库文件，以便集成到客户集群运维监控系统中：

  • PPU设备管理工具ppu-smi类似Nvidia-smi。详细介绍请参考设备管理工具PPU-SMI；

  • ppu-smi v1.4新功能主要包含：

    • 增加查询XID错误码的描述

    • 增加查询performance counter状态的描述

    • 增加gpm子命令查询和设置GPM的描述

    • 增加查询潮汐模式的描述

    • 增加查询产品架构和Minor number的描述

    • 增加设置和查询MPS模式的描述

  • 数据中心管理和监控工具PPU DCG类似Nvidia DGCM；

  • DCGM v1.4新功能主要包含：

    • 支持ICN每链路收发速率相关field ID

    • 更新field ID支持情况列表

  • hgml类似Nvidia nvml；

• 发布了PPU性能分析工具Asight Systems和Asight Compue（类似 Nvidia Nsight Systems/ Compute），可以支持用户进行单机、多机训练、推理等场景的性能分析。

  • Asight Systems 是一款低开销的系统级的性能分析工具，用来采集系统各种事件，CPU和PPU的活动，API执行时间以及相关调用栈，NVTX，CPU/PPU activity关联关系等，在Timeline View上统一的可视化呈现出来。 通过imeline View，开发人员可以方便分析CPU/PPU的负载和关联关系，找到性能瓶颈，确保CPU和PPU能够协调的工作，确保最大的并行度。详细介绍请参考程序性能分析套件Asight Systems。

  • Asight Systems v1.4新功能主要包含:

    • UI样式美化与布局调整，更多tab 样式用于切换

    • asys支持指定CPU和Python Profiling调用栈深度

    • asys支持指定采集应用程序部分进程的跟踪数据

    • asys支持采集PPU频率和温度等基本信息

    • asys支持采集CPU调用栈信息更短的采样周期

    • asys stats支持HGGC kernel grid block统计和跟踪导出

    • asys支持HGGC Python backtrace调用栈采集

    • asys支持memory python backtrace调用栈采集

    • asys python functions trace支持采集python进程下的所有线程

    • Timeline View支持显示HGTX自定义颜色

    • Timeline View支持filter后PPU节点时间占比更新

    • Timeline View支持显示RDMA网卡metrics指标信息

    • Timeline View支持显示PPU Activity依赖关系

    • Timeline View支持独立显示HGGC Graph信息

    • Timeline View支持标记时间线

    • Timeline View支持以不同的颜色显示不同类型的Video时间线

    • Timeline View中HGGC Launch API支持以kernel名显示

    • 支持在报告打开过程中关闭报告标签页

    • Events View增加了平铺模式，增强搜索记录的自动填充

    • Function View增加了火焰图和冰川图

    • HGTX range汇总支持指定进程和线程列表

  • Asight Compute是一款kernel性能分析工具，通过采集PPU硬件perf counter，组合成为一系列性能指标，我们称为metrics。GUI通过各种维度，把这些metrics呈现出来, 帮助用户深入分析和优化kernel。详细介绍请参考Kernel分析器Asight Compute。

  • Asight Compute v1.4新功能主要包含:

    • 新增真武810E 16卡、8卡拓扑图显示

    • Source Page支持显示Source Marker，支持采集和显示Kernel的汇编指令的执行信息，包括Instructions Executed和Thread Instructions Executed

    • metrics修正和稳定性增强

• 发布了PPU调试工具PPU-GDB，允许在同一个应用程序中同时调试GPU和CPU代码。

• 发布了PPU Memcheck，是一组用于功能性正确检查的工具套件。该套件中包含了一系列的检查工具，包括memcheck、initcheck、synccheck、racecheck。

• 发布了PPU Binary工具hgobjdump，用于提取binary中的device相关信息。

2.3.1 开源框架/库支持列表

说明：

• Pytorch开源支持说明：

  • Pytorch 2.1及其之前的版本对标NGC

  • Pytorch 2.1.2及其之后的版本对标torch开源社区RELEASE版本

• TensorFlow开源支持说明：

  • Tensorflow Google社区开源版本1.12仅支持CUDA 9、1.15仅支持CUDA 10 https://www.tensorflow.org/install/source?hl=zh-cn#gpu_support_3

    发布Tensorflow 1.15采用NV官方NGC nv22.04的开源版本 https://docs.nvidia.com/deeplearning/frameworks/support-matrix/index.html#unique_1997996242

  • Tensorflow 1.12采用PAI TF 1.12

  • Tensorflow 2.4NGC NV 21.02

  • Tensorflow 2.6 2.7 Google官方开源社区RELEASE版本

  • Tensorflow 2.8 NGC NV 22.04

  • Tensorflow 2.10及以上使用Google官方开源社区RELEASE版本

• 带(*)标志的，如FlashAttention(*) 与cutlass(*)等，完全对标社区开源版本，未做性能优化，仅功能支持。

• 其它开源框架/开源库 除个别对标NGC以外，大部分对标开源社区RELEASE版本，详情请参考各个使用指南。

• 对于开源框架/开源库，PPU SDK兼容编译、基本功能运行和UT测试，由于资源限制V1.4 RELEASE并没有解决所有测试中发现的问题，遗留问题请参考【已知问题】章节。

2.3.2 开源框架兼容性