QLean模型量化工具 (v0.1.0)

安装

# 安装依赖
pip install triton_kernel==1.0.0+ppu2.0.0.oe

# 安装qlean
pip install qlean==0.1.0+ppu2.0.0.oe

参数介绍

• --model_name：模型名称。必须，要求格式与HuggingFace上的model_stub一致，例如“deepseek-ai/DeepSeek-V3.2-Exp”。

• --model_path：原始模型路径。必须，要求输入本地路径，例如HuggingFace模型本地缓存路径。

• --save_path：反量化/量化后得到的模型路径。必须。

• --mix_path：混合量化模型路径。非必须。

• --recipe：量化配置文件路径。非必须，要求是yaml文件路径。

  • 对于“支持一键量化的模型”表中的模型，用户可省略 recipe 参数，系统将自动加载。

  • 对于其他模型，用户需手动编写并提供 recipe 参数（关于 recipe 的编写方法，见“Recipe编写”部分）。

功能

用户通过输入不同的recipe切换功能，下面对于不同功能给出操作样例：

1. W8A8-INT8 量化

   原始模型可为FP8或BF16格式，系统会根据原始模型的精度类型自动选择适配策略：若模型为FP8格式，自动切换至更精确的量化模式；若模型为BF16格式，使用通用量化模式。

   # /path/to/.../ 请根据实际进行修改
   
   # 原始模型为FP8
   qlean --model_name deepseek-ai/DeepSeek-R1-0528 --model_path /path/to/DeepSeek-R1-0528/ --save_path /path/to/DeepSeek-R1-0528-INT8/
   
   # 原始模型为BF16
   qlean --model_name Qwen/Qwen3-VL-30B-A3B-Instruct --model_path /path/to/Qwen3-VL-30B-A3B-Instruct/ --save_path /path/to/Qwen3-VL-30B-A3B-Instruct-INT8/

2. FP8 → BF16 反量化

   # /path/to/.../ 请根据实际进行修改
   qlean --model_name deepseek-ai/DeepSeek-V3.2 --model_path /path/to/DeepSeek-V3.2/ --save_path /path/to/DeepSeek-V3.2-BF16/ --recipe /path/to/dequant.yaml

   # dequant.yaml 内容
   ---
   dequant_stage:
     dequant_modifiers:
       dequantModifier: {}
   ...

3. 混合量化

   在 W8A8-INT8 量化后，部分模型在特定用例上出现精度下降问题，原因可能为模型某些 layer 对精度敏感，可用混合量化功能将 W8A8 量化模型中的指定layer替换回 BF16 版本。此时，save_path 对应 W8A8 模型，mix_path 保存混合量化模型。

   # /path/to/.../ 请根据实际进行修改
   qlean --model_name Qwen/Qwen3-235B-A22B-Instruct-2507 --model_path /path/to/Qwen3-235B-A22B-Instruct-2507/ --save_path /path/to/Qwen3-235B-A22B-Instruct-2507-INT8/ --mix_path /path/to/Qwen3-235B-A22B-Instruct-2507-MIX/

Recipe编写

若需对“支持一键量化的模型”表外的模型进行W8A8-INT8 量化，用户可参考以下 recipe 编写 YAML 文件，仅需改动ignore部分。

---
quant_stage:
  quant_modifiers:
    generalDay0Modifier:
      ignore: ["module_to_ignore"] # 请根据实际进行修改
      scheme: W8A8
...

在编写量化配置中的ignore列表时，应加入所有对于量化敏感的模块。通常不应量化的模块包括：re:.*lm_head、re:.*embed_tokens、re:.*mlp.gate$。注意，不同架构的模型需要 ignore 的模块不同，应当按需添加。

若需对“支持一键量化的模型”表外的模型进行 混合量化，用户需在上述 recipe 基础上额外增加 mixedPrecisionModifier 部分。layers 给出需要替换为 BF16 的layer id，num_layers 给出模型的总层数。

---
quant_stage:
  quant_modifiers:
    generalDay0Modifier:
      ignore: ["re:.*lm_head", "re:.*embed_tokens", "re:.*mlp.gate$"] # 请根据实际进行修改
      scheme: W8A8
    mixedPrecisionModifier:
      layers: ['88', '89', '92-93']  # 请根据实际进行修改
      num_layers: 94                 # 请根据实际进行修改
...

编写完 YAML 文件后使用 --recipe 参数传入该文件地址。

# /name/of/.../和/path/to/.../ 请根据实际进行修改
qlean --model_name /name/of/model/ --model_path /path/to/original_model/ --save_path /path/to/result_model/ --recipe /path/to/your/recipe/

使用样例：DeepSeek-V3.2 进行 W8A8-INT8 量化

step1 编写 deepseek-v3.2-recipe.yaml。

---
quant_stage:
  quant_modifiers:
    generalDay0Modifier:
      ignore: ["re:.*lm_head", "re:.*embed_tokens", "re:.*mlp.gate$"]
      scheme: W8A8
...

step2 输入模型名称、原始模型路径和量化模型路径，进行W8A8-INT8 量化。

qlean --model_name deepseek-ai/DeepSeek-V3.2 --model_path /path/to/DeepSeek-V3.2/ --save_path /path/to/DeepSeek-V3.2-INT8/ --recipe /path/to/deepseek-v3.2-recipe.yaml 

Sglang推理精度

测试镜像信息：pytorch2.8.0-ubuntu24.04-cuda12.9-sglang0.5.5-py312

注：由于真武810E不支持FP8，所以对于原始权重为FP8的情况，使用当前测试的W8A8权重作为对比。

vLLM推理精度

测试镜像信息：pytorch2.9.0-ubuntu24.04-cuda12.9-vllm0.12.0-py312

注：由于真武810E不支持FP8，所以对于原始权重为FP8的情况，使用当前测试的W8A8权重作为对比。

Sglang性能

测试镜像信息：pytorch2.8.0-ubuntu24.04-cuda12.9-sglang0.5.5-py312

注：由于真武810E不支持FP8，所以对于原始权重为FP8的情况，使用当前测试的W8A8权重作为对比。

vLLM性能

测试镜像信息：pytorch2.9.0-ubuntu24.04-cuda12.9-vllm0.12.0-py312

注：由于真武810E不支持FP8，所以对于原始权重为FP8的情况，使用当前测试的W8A8权重作为对比。