蒸馏DeepSeek-R1等深度推理大模型

背景信息

近年来，大语言模型（LLMs）在深度推理领域展现出巨大潜力，特别是在复杂任务如高难度数学问题、逻辑推理和问题解决中表现出色，接近人类专家水平，受到科研和商业领域的广泛认可。然而，LLMs 的成功伴随着巨大的计算成本和资源消耗。训练和运行这些模型需要庞大的数据集、长时间计算和昂贵的高性能硬件，如高性能GPU。这不仅增加了使用成本，还限制了它们在资源有限环境中的应用，例如在边缘计算、移动设备和小型服务器上几乎无法运行。因此，降低LLMs的计算资源需求成为当前亟待解决的关键问题。

模型蒸馏技术因此备受关注。蒸馏的核心思想是将大模型的知识迁移到小模型中，保留大模型的推理能力和准确性，同时大幅降低计算和存储成本。小模型对资源需求较低，易于在各种硬件平台上部署，大大扩展了实际应用的广度和深度。此外，深度推理任务中所需的思维链难以通过人工标注实现，将模型蒸馏与微调结合，可以最大化利用现有大模型资源，提升小模型的推理能力，弥补其处理复杂任务的不足，提供高效、可靠的推理服务。

本方案采用通义千问2.5（Qwen2.5）和DeepSeek-R1大语言模型，通过PAI-Model Gallery工具平台，详细阐述大语言模型蒸馏解决方案的完整开发流程，从而应对深度推理任务。

前提条件

在开始执行操作前，请确认您已完成以下准备工作：

• 已开通PAI（DLC、EAS）后付费，并创建默认工作空间，详情请参见开通PAI并创建默认工作空间。

• 已创建OSS存储空间（Bucket），用于存储训练数据和训练获得的模型文件。关于如何创建存储空间，详情请参见控制台创建存储空间。

核心步骤

1. 准备指令数据。

   您可以参照数据格式要求和数据准备策略准备相应的训练数据集。PAI也预置了示例指令数据集供您参考。

2. 部署教师大语言模型生成对应回复。

   您在PAI-Model Gallery中使用预置的教师大语言模型对训练数据集中的指令生成回复，从而将对应教师大模型的知识进行蒸馏。PAI也预置了示例蒸馏数据集供您参考。

3. 蒸馏训练较小的学生模型。

   您在PAI-Model Gallery中使用生成完整的指令-回复数据集，蒸馏训练对应较小的学生模型，用于实际的应用场景。

准备指令数据

数据准备策略

为了提升模型蒸馏的有效性和稳定性，您可以参考以下策略准备数据：

• 您应该至少准备数百条数据，准备的数据多有助于提升模型的效果。

• 准备的种子数据集应该与深度推理任务密切相关，数据应涵盖广泛的应用场景，如科学研究、数学难题、逻辑推理，以及日常生活中的复杂决策问题。

• 数据来源应该尽量准确可靠，例如专业出版物、在线百科全书、问答平台，以及特定领域的科研论文等。

• 即使是少量的异常数据也会对微调效果造成很大的影响。应当先对收集的数据进行预处理和筛选，剔除冗余、错误和重复的数据。

数据格式要求

训练数据集格式要求为：JSON格式的文件，包含一个字段instruction，为输入的指令。相应的指令数据示例如下：

[
    {
        "instruction": "Return your final response within \\boxed{}. The equation $2^{2x}-8\\cdot 2^x+12=0$ is satisfied by:\n$\\text{(A) } log(3)\\quad \\text{(B) } \\tfrac{1}{2}log(6)\\quad \\text{(C) } 1+log(\\tfrac{3}{2})\\quad \\text{(D) } 1+\\frac{log(3)}{log(2)}\\quad \\text{(E) none of these}$"
    },
    {
        "instruction": "Return your final response within \\boxed{}. In $\\triangle ABC$ with right angle at $C$, altitude $CH$ and median $CM$ trisect the right angle. If the area of $\\triangle CHM$ is $K$, then the area of $\\triangle ABC$ is \n $\\textbf{(A)}\\ 6K\\qquad\\textbf{(B)}\\ 4\\sqrt3\\ K\\qquad\\textbf{(C)}\\ 3\\sqrt3\\ K\\qquad\\textbf{(D)}\\ 3K\\qquad\\textbf{(E)}\\ 4K$"
    }
]

（可选）使用PAI预置的指令数据

您可以使用如下命令下载我们已经准备好的数据集作为种子指令数据集：

wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/Distil_R1/Bespoke-Stratos-17k_thought.json

这一数据集来源为Bespoke-Stratos-17k，数据格式经过转换使得它满足PAI-Model Gallery数据格式要求。使用上述数据时需要部署教师大模型生成对应回复。

部署教师大语言模型生成对应回复

部署模型服务

在准备完指令数据集以后，您可以按照以下操作步骤，部署教师大语言模型生成对应回复。

1. 在PAI-Model Gallery选择DeepSeek-R1模型或者其他具有深度推理能力的教师大模型（例如DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B等），在模型部署区域，系统已默认配置了模型服务信息和资源部署信息，您也可以根据需要进行修改，参数配置完成后单击“部署”按钮。以DeepSeek-R1为例，其模型卡片如下所示：

   

   说明：目前DeepSeek-R1支持采用 SGLang和vLLM 加速部署；DeepSeek-R1蒸馏小模型（例如DeepSeek-R1-Distill-Qwen-7B）支持采用BladeLLM（阿里云 PAI 自研高性能推理框架）和 vLLM 加速部署。

2. 在计费提醒对话框中，单击“确定”。

   系统自动跳转到部署任务页面，当状态为运行中时，表示服务部署成功。

调用模型服务

服务部署成功后，您可以使用API进行模型推理。以下提供一个示例，展示如何通过客户端发起Request调用：

1. 获取服务访问地址和Token。

   1. 在服务详情页面，单击资源信息区域的查看调用信息。

      

   2. 在调用信息对话框中，查询服务访问地址和Token，并保存到本地。

   3. 在终端中，执行如下代码调用服务（以SGLang部署为例）。

   from openai import OpenAI
   
   ##### API 配置 #####
   openai_api_key = "<EAS API KEY>"
   openai_api_base = "<EAS API Endpoint>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   
   def main():
   
       stream = True
   
       chat_completion = client.chat.completions.create(
           messages=[
               {
                   "role": "user",
                   "content": [
                       {
                           "type": "text",
                           "text": "你好，介绍一下你自己，越详细越好。",
                       }
                   ],
               }
           ],
           model=model,
           max_completion_tokens=1024,
           stream=stream,
       )
   
       if stream:
           for chunk in chat_completion:
               print(chunk.choices[0].delta.content, end="")
       else:
           result = chat_completion.choices[0].message.content
           print(result)
   
   
   if __name__ == "__main__":
       main()

   具体使用方法参考一键部署DeepSeek-V3、DeepSeek-R1模型。

批量实现教师模型的指令标注

在PAI-Model Gallery部署了服务后，按调用模型服务章节的步骤获取自己服务的Endpoint和Token。

使用需要让模型推理生成的数据，批量调用接口生成训练数据。以下代码示范了如何读取自己的json格式数据集，批量调用上面的模型接口进行教师模型标注。post_http_request和get_response函数定义与前述脚本相同。

import json 
from tqdm import tqdm
import requests
from typing import List
from openai import OpenAI

##### API 配置 #####
openai_api_key = "<EAS API KEY>"
openai_api_base = "<EAS API Endpoint>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

models = client.models.list()
model = models.data[0].id
print(model)

def generate_response(ins):
    stream = True

    chat_completion = client.chat.completions.create(
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": ins,
                    }
                ],
            }
        ],
        model=model,
        max_completion_tokens=4096,
        stream=stream,
    )
    res=''
    if stream:
        for chunk in chat_completion:
            res+=chunk.choices[0].delta.content
    else:
        res = chat_completion.choices[0].message.content
    return res

input_file_path = "input.json" # 输入文件名

with open(input_file_path) as fp:
    data = json.load(fp)

pbar = tqdm(total=len(data))
new_data = []

for d in data:
    prompt = d["instruction"]
    output = generate_response(prompt)
    temp = {
        "instruction": prompt,
        "output": output
    }
    new_data.append(temp)
    pbar.update(1)
pbar.close()

output_file_path = "output.json" # 输出文件名
with open(output_file_path, 'w') as f:
    json.dump(new_data, f, ensure_ascii=False, indent=4)

最终生成的JSON格式数据如下，可以直接使用生成的数据在PAI-Model Gallery上进行模型训练，具体步骤参考下文。

[
    {
        "instruction": "请你写一段代码，实现大数据量下的快速排序功能。",
        "output": "<think>\n嗯，用户让我写一段代码，实现大数据量下的快速排序功能。首先，我得理解用户的需求。大数据量通常意味着数据量非常大，可能会影响传统快速排序的效率，或者用户希望代码在大数据情况下运行得更快、更稳定。\n\n快速排序本身是一种高效的排序算法，平均时间复杂度是O(n log n)，但最坏情况下是O(n²)。不过，快速排序在大数据量下通常表现还是不错的，因为它在内存中操作，不需要额外的空间。所以，我应该考虑如何优化快速排序，特别是在大数据量的情况下。\n\n首先，我应该回顾一下快速排序的基本实现。快速排序通过选择一个基准元素，将数组分成两部分，小于基准的在左边，大于基准的在右边，然后递归排序这两部分。这个过程通常使用递归实现，但递归在大数据量下可能会导致栈溢出，所以可能需要改用迭代或者递归加尾部优化的方法。\n\n然后，考虑到大数据量，可能需要使用更高效的语言，比如C++，因为它比Python更快。不过，用户可能更倾向于使用Python，所以可能需要在Python中实现高效的快速排序。\n\n在Python中，快速排序的实现可能会遇到性能问题，因为Python本身的解释性解释器会影响速度。所以，可能需要使用一些优化技巧，比如选择一个好的基准元素，或者使用内置的函数来优化排序过程。\n\n另外，快速排序的性能优化通常包括减少递归调用的开销，使用迭代实现，或者选择一个更好的划分策略。比如，三划分或者使用中位数作为基准，可以减少递归的深度，从而减少栈溢出的风险，同时提高效率。\n\n我还应该考虑内存的使用。快速排序是原地排序，所以不需要额外的内存空间，但处理大数据量时，可能需要优化内存访问模式，避免频繁的数据交换，从而提高缓存效率。\n\n另外，可能需要使用一些高级的Python特性，比如使用生成器或者列表操作来优化排序过程。或者，可以考虑使用外部排序的方法，当数据量超过内存容量时，但用户的问题是关于大数据量下的快速排序，可能是指内存中的大数据，所以外部排序可能不是主要考虑。\n\n再者，快速排序的性能还与数据的初始状态有关。如果数据已经有序，快速排序的效率会降低，因为每次划分都会产生一个空的部分和一个长度为n-1的部分。这时候，可能需要使用三划分的方法，或者选择一个随机的基准，或者使用其他排序算法来处理这些情况。\n\n总结一下，我需要写一个高效的快速排序函数，可能需要考虑以下几点：\n\n1. 选择一个合适的基准元素，以减少递归深度和提高效率。\n2. 使用迭代实现，避免过多的递归调用，减少栈溢出的风险。\n3. 优化内存访问模式，提高缓存效率。\n4. 使用Python的内置函数和数据结构，尽可能提高性能。\n\n现在，我应该考虑如何实现这些优化。比如，在Python中，可以使用双指针法来实现快速排序，避免递归，改用迭代的方式。或者，可以使用递归，但增加尾部优化，或者使用尾递归的替代方案，虽然Python不支持尾递归优化，但可以通过其他方式模拟。\n\n另外，快速排序的性能还与数据的类型有关。如果数据是列表，可能需要将其转换为数组，或者使用更高效的数据结构，比如NumPy数组，但NumPy可能不在用户的要求范围内，所以可能需要避免使用。\n\n最后，我应该测试代码的性能，确保在大数据量下，排序速度足够快。可能需要使用一些基准测试，或者使用时间函数来测量排序的时间，确保优化后的代码在大数据量下表现良好。\n\n综上所述，我应该编写一个优化过的快速排序函数，使用双指针法，避免递归，或者使用更高效的语言特性，比如C++，但考虑到用户可能更倾向于Python，所以可能需要在Python中实现高效的快速排序，同时考虑优化策略。\n</think>\n\n在大数据量的情况下，快速排序可以通过一些优化措施来提高性能。以下是一个优化过的快速排序实现，使用双指针法和减少递归调用的开销：\n\n```python\ndef quick_sort(arr):\n    if len(arr) <= 1:\n        return arr\n\n    def partition low high:\n        pivot = arr[high]\n        while low <= high:\n            if arr[low] >= pivot:\n                low += 1\n            else:\n                arr[low], arr[high] = arr[high], arr[low]\n                high -= 1\n        return low\n\n    def quick_sort_helper low high:\n        if low >= high:\n            return\n        pivot_index = partition(low, high)\n        quick_sort_helper(low, pivot_index - 1)\n        quick_sort_helper(pivot_index + 1, high)\n\n    quick_sort_helper(0, len(arr) - 1)\n    return arr\n```\n\n### 优化措施：\n1. **减少递归开销**：将递归实现改为迭代实现，避免了递归调用的开销。\n2. **双指针法**：使用双指针法来实现快速排序，减少了内存交换的次数，提高了缓存效率。\n3. **减少递归深度**：通过选择一个合适的基准元素（这里使用最后一个元素作为基准），减少了递归深度，从而减少了栈溢出的风险。\n\n### 使用场景：\n这个实现适用于大数据量的排序任务，因为它减少了递归调用的开销，并且通过双指针法提高了缓存效率。\n\n### 示例使用：\n```python\nimport random\n\n# 生成一个大数据量的数组\ndata = list(range(1000000))\nrandom.shuffle(data)\n\n# 进行快速排序\nsorted_data = quick_sort(data)\n```\n\n这个实现在大数据量下表现良好，但需要注意的是，快速排序在最坏情况下时间复杂度仍然是O(n²)，但这种情况在实际应用中非常罕见。"
    }
]

（可选）使用PAI预置的指令标注数据

您可以使用如下命令下载我们已经准备好的数据集进行模型训练：

wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/Distil_R1/Bespoke-Stratos-17k_thought.json

这一数据集来源为Bespoke-Stratos-17k，数据格式经过转换使得它满足PAI-Model Gallery数据格式要求。使用上述数据时无需部署教师大模型。

蒸馏训练较小的学生模型

当获得教师模型的回复后，您可以在PAI-Model Gallery中，实现学生模型的训练，无需编写代码，极大简化了模型的开发过程。本方案以Qwen2.5-7B-Instruct模型为例，为您介绍如何使用已准备好的训练数据，在PAI-Model Gallery中进行模型训练。具体操作步骤如下：

1. 进入快速开始页面。

   1. 登录PAI控制台。

   2. 在顶部左上角根据实际情况选择地域。

   3. 在左侧导航栏选择工作空间列表，单击指定工作空间名称，进入对应工作空间内。

   4. 在左侧导航栏选择快速开始。

2. 在快速开始页面右侧的模型列表中，单击通义千问2.5-7B-Instruct模型卡片，进入模型详情页面。

3. 在模型详情页面，单击右上角“训练”。

4. 在微调训练配置面板中，配置以下关键参数，其他参数取默认配置。我们建议默认使用全参数微调的方式进行训练，以获得最佳效果。注意seq_length的设置，推荐值为8192，设置更小的值可能使模型无法学到完整的思维链能力。在以下配置的情况下请保证单卡GPU资源的显存至少为80GB。

   超参数	默认值	类型	含义
   training_strategy	sft	string	训练算法，这里必须指定为sft
   learning_rate	1e-5	float	模型训练的学习率
   num_train_epochs	3	int	训练轮次
   per_device_train_batch_size	1	int	每张GPU卡在一次训练迭代的数据量
   seq_length	8192	int	文本序列长度
   gradient_accumulation_steps	12	int	梯度累积步数
   apply_chat_template	true	bool	算法是否为训练数据加上模型默认的chat template 以Qwen2.5系列模型为例，格式为 问题：<|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n 答案：<|im_start|>assistant\n + output + <|im_end|>\n
   system_prompt	true	string	模型训练使用的系统提示语，默认为You are a helpful assistant。在这里建议使用如下提示语： Your role as an assistant involves thoroughly exploring questions through a systematic long thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well-considered thinking process. Please structure your response into two main sections: Thought and Solution. In the Thought section, detail your reasoning process using the specified format: \ <thought> {thought with steps separated with '\n\n'} \ <thought> \ Each step should include detailed considerations such as analyzing questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. \ In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The solution should remain a logical, accurate, concise expression style and detail necessary step needed to reach the conclusion, formatted as follows: \ <thought> \ {final formatted, precise, and clear solution} \ <thought> \ Now, try to solve the following question through the above guidelines:

5. 若没有充足的GPU资源，可选取QLoRA对模型进行训练，在这里设置seq_length为4096，训练的GPU机型单卡显存至少为48G，若训练时间过长可以减小num_train_epochs为1/2。通过QLoRA的训练，模型依然可以学习到思维链输出的能力，但是其输出准确性无法和4中全量参数微调的保持一致，在资源充足的情况下依然推荐用户使用4中的超参数设置。

   超参数	默认值	类型	含义
   training_strategy	sft	string	训练算法，这里必须指定为sft
   learning_rate	1e-5	float	模型训练的学习率
   num_train_epochs	3	int	训练轮次
   per_device_train_batch_size	1	int	每张GPU卡在一次训练迭代的数据量
   seq_length	4096	int	文本序列长度
   lora_dim	32	int	LoRA矩阵的秩，即低秩矩阵的维度
   lora_alpha	32	int	LoRA的缩放因子，控制LoRA权重对原始模型的调整强度
   load_in_4bit	false	bool	是否以4-bit量化加载模型
   load_in_8bit	true	bool	是否以8-bit量化加载模型
   gradient_accumulation_steps	12	int	梯度累积步数
   apply_chat_template	true	bool	算法是否为训练数据加上模型默认的chat template 以Qwen2.5系列模型为例，格式为 问题：<|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n 答案：<|im_start|>assistant\n + output + <|im_end|>\n
   system_prompt	true	string	模型训练使用的系统提示语，默认为You are a helpful assistant。在这里建议使用如下提示语： Your role as an assistant involves thoroughly exploring questions through a systematic long thinking process before providing the final precise and accurate solutions. This requires engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment, reflection, backtracing, and iteration to develop well-considered thinking process. Please structure your response into two main sections: Thought and Solution. In the Thought section, detail your reasoning process using the specified format: <|begin_of_thought|> {thought with steps separated with '\n\n'} <|end_of_thought|> Each step should include detailed considerations such as analisying questions, summarizing relevant findings, brainstorming new ideas, verifying the accuracy of the current steps, refining any errors, and revisiting previous steps. In the Solution section, based on various attempts, explorations, and reflections from the Thought section, systematically present the final solution that you deem correct. The solution should remain a logical, accurate, concise expression style and detail necessary step needed to reach the conclusion, formatted as follows: <|begin_of_solution|> {final formatted, precise, and clear solution} <|end_of_solution|> Now, try to solve the following question through the above guidelines:

6. 点击“训练”按钮，PAI-Model Gallery开始进行训练，用户可以查看训练任务状态和训练日志。

   

   如果在训练完成后，需要将模型部署至PAI-EAS，可以在同一页面的模型部署卡面选择资源组，并且点击“部署”按钮实现一键部署。

效果对比

对比原始Qwen2.5-7B-Instruct和训练完成后的效果如下：

我们也在各个数学题类推理数据集上进行了评测，结果对比如下：

相关文档

在Model Gallery中您可以轻松完成更多场景的部署与微调任务，包括Qwen2.5、Llama-3、Stable Diffusion等系列模型，详情请参见场景实践。