Qwen2.5-Coder模型的训练、评测、压缩与部署

模型简介

Qwen2.5-Coder 是一系列功能强大的、以编程为核心的模型，最高支持128K tokens的上下文长度，并兼容92种编程语言。该系列模型在多项代码相关任务中表现出色，包括多语言代码生成、代码补全和代码修复。在Qwen2.5-Coder的基础上，经过指令微调的变体 Qwen2.5-Coder-Instruct 进一步提升了各项任务的性能，并展现出卓越的泛化能力。

主要特性包括：

• 多语言编程能力：Qwen2.5-Coder-Instruct 在覆盖40多种语言的McEval基准测试中表现出卓越的性能，即使是小众编程语言也不例外。

• 代码推理能力：该模型在CRUXEval基准测试上取得了令人瞩目的成绩，展示了强大的代码推理能力。这种增强的推理能力也与复杂指令遵循任务的性能提升相关。

• 数学能力：作为编码的基础学科，数学是该模型同样擅长的领域，凸显了其在STEM领域的强大综合能力。

• 基础能力：Qwen2.5-Coder-Instruct 继承了基础模型Qwen2.5强大的通用能力，确保了其在广泛任务中的稳定性和适用性。

环境要求

模型部署和调用

from openai import OpenAI

# 1. 配置客户端
# <EAS_TOKEN>需替换为部署服务的Token
openai_api_key = "<EAS_TOKEN>"
# <EAS_ENDPOINT>需替换为部署服务的访问地址
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. 获取模型名称
# 对于BladeLLM， 设置model = ""。 因为BladeLLM不需要model入参，也不支持使用client.models.list()方式获取模型名称。设置空字符串以兼容OpenAI SDK的强制参数要求
models = client.models.list()
model = models.data[0].id
print(model)

# 3. 发起对话请求
# 支持流式（stream=True）和非流式（stream=False）输出
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

模型微调训练

Model Gallery为千问2.5-Coder-32B-Instruct模型配置了SFT和DPO两种微调算法，您可以通过开箱即用的方式对该模型进行微调。

[
  {
    "instruction": "Create a function to calculate the sum of a sequence of integers.",
    "output": "# Python code\ndef sum_sequence(sequence):\n  sum = 0\n  for num in sequence:\n    sum += num\n  return sum"
  },
  {
    "instruction": "Generate a Python code for crawling a website for a specific type of data.",
    "output": "import requests\nimport re\n\ndef crawl_website_for_phone_numbers(website):\n    response = requests.get(website)\n    phone_numbers = re.findall('\\d{3}-\\d{3}-\\d{4}', response.text)\n    return phone_numbers\n    \nif __name__ == '__main__':\n    print(crawl_website_for_phone_numbers('www.example.com'))"
  }
]

[
  {
    "prompt": "Create a function to calculate the sum of a sequence of integers.",
    "chosen": "# Python code\ndef sum_sequence(sequence):\n  sum = 0\n  for num in sequence:\n    sum += num\n  return sum",
    "rejected": "[x*x for x in [1, 2, 3, 5, 8, 13]]"
  },
  {
    "prompt": "Generate a Python code for crawling a website for a specific type of data.",
    "chosen": "import requests\nimport re\n\ndef crawl_website_for_phone_numbers(website):\n    response = requests.get(website)\n    phone_numbers = re.findall('\\d{3}-\\d{3}-\\d{4}', response.text)\n    return phone_numbers\n    \nif __name__ == '__main__':\n    print(crawl_website_for_phone_numbers('www.example.com'))",
    "rejected": "def remove_duplicates(string): \n    result = \"\" \n    prev = '' \n\n    for char in string:\n        if char != prev: \n            result += char\n            prev = char\n    return result\n\nresult = remove_duplicates(\"AAABBCCCD\")\nprint(result)"
  }
]

1. 在Model Gallery页面右侧的模型列表中，单击通义千问2.5-Coder-32B-Instruct模型卡片，进入模型详情页面。

2. 在模型详情页单击右上角训练。关键配置如下：

   • 数据集配置：当完成数据的准备，您可以将数据上传到对象存储OSS Bucket中，或是通过指定一个数据集对象，选择NAS或CPFS存储上的数据集。您也可以使用PAI预置的公共数据集，直接提交任务测试算法。

   • 计算资源配置：算法需要使用80 GB显存及以上的GPU资源，请确保选择使用的资源配额内有充足的计算资源。其他规模的模型所需资源规格，请参见环境要求。

   • 超参数配置：训练算法支持的超参信息如下，您可以根据使用的数据，计算资源等调整超参，或是使用算法默认配置的超参。

     超参数配置

     超参数	类型	默认值	是否必须	描述
     training_strategy	string	sft	是	训练算法，可以为SFT或DPO。
     learning_rate	float	5e-5	是	学习率，用于控制模型权重，调整幅度。
     num_train_epochs	int	1	是	训练数据集被重复使用的次数。
     per_device_train_batch_size	int	1	是	每个GPU在一次训练迭代中处理的样本数量。较大的批次大小可以提高效率，也会增加显存的需求。
     seq_length	int	128	是	序列长度，指模型在一次训练中处理的输入数据的长度。
     lora_dim	int	32	否	LoRA维度，当lora_dim>0时，使用LoRA/QLoRA轻量化训练。
     lora_alpha	int	32	否	LoRA权重，当lora_dim>0时，使用LoRA/QLoRA轻量化训练，该参数生效。
     dpo_beta	float	0.1	否	模型在训练过程中对偏好信息的依赖程度。
     load_in_4bit	bool	false	否	模型是否以4 bit加载。 当lora_dim>0、load_in_4bit为true且load_in_8bit为false时，使用4 bit QLoRA轻量化训练。
     load_in_8bit	bool	false	否	模型是否以8 bit加载。 当lora_dim>0、load_in_4bit为false且load_in_8bit为true时，使用8 bit QLoRA轻量化训练。
     gradient_accumulation_steps	int	8	否	梯度累积步骤数。
     apply_chat_template	bool	true	否	算法是否为训练数据加上模型默认的chat template，以Qwen2系列模型为例，格式为： 问题：<|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n 答案：<|im_start|>assistant\n + output + <|im_end|>\n
     system_prompt	string	You are a helpful assistant	否	模型训练使用的系统提示语。

3. 单击训练，Model Gallery自动跳转到任务详情页面，并开始进行训练，您可以查看训练任务状态和训练日志。

训练好的模型会自动注册到AI资产-模型管理中，您可以查看或部署对应的模型，详情请参见注册及管理模型。

模型评测

科学高效的模型评测对于衡量性能、比较模型和指导优化至关重要。PAI为千问2.5-Coder-32B-Instruct模型提供了内置的评测算法。您可以用它来评估原始模型和您微调后的模型的性能，详情请参见模型评测、大模型评测最佳实践。

模型压缩

训练后，您可以在部署前对模型进行量化（压缩），以减少其存储空间占用和计算资源消耗，详情请参见模型压缩。

相关参考

• Qwen2.5-Coder模型介绍

• 快速开始（QuickStart）计费说明