Triton兼容性 (v1.4)

更新时间:
复制为 MD 格式

Triton作为OpenAI推出的一种并行计算的编程语言,提供了在线和离线的算子编译和运行的支持,在各类AI框架中有比较广泛的应用。基于PPU平台,对照OpenAI Triton的发布节奏,PPU软件团队也维护了相应版本的Tritonbackend实现,您在使用中需要明确相应的框架对Triton的版本依赖要求,目前支持的版本包括:

  • release 2.0.x

  • release 2.1.x

  • release 2.2.x

  • release 2.3.x

  • release 3.0.x (已经内置在AI容器镜像中)

推荐使用SDK 1.3及以上的版本。

编程参考

关于Triton的编程和使用方式,您可以直接参考OpenAI的官方网站( https://triton-lang.org/main/index.html),PPU版的Triton功能完全对齐到官方的版本特性上。

开发Tips

  1. Triton默认的cache目录是~/.triton/cache,可以通过环境变量TRITON_CACHE_DIR来设置。

  2. 环境变量MLIR_ENABLE_DUMP = 1 : 默认为0; 设置为1可以在执行jit过程中打印出mlir的完整lowering和优化的过程

  3. 开发Triton算子实现时,如发现编译问题,可以尝试在NV的环境下先做确认,如依然存在问题,可以给PPU软件团队报Bug。