强化学习训练概述

RL 训练全流程概览

RL 训练从环境准备到模型部署，共 5 步：

1. 环境准备 — 安装离线 SDK、获取 API Key、完成 RL 授权

2. 准备数据与代码 — 下载 Demo 包，了解数据格式与项目结构

3. 提交训练任务 — 运行 Demo 一步完成函数部署、数据上传、任务提交

4. 训练状态观测 — 查看训练状态、日志和 Reward 趋势

5. 发布与部署模型 — 发布 Checkpoint 至"我的模型"，部署后通过 API 调用

下面逐步介绍每个步骤的具体操作。

训练数据（用户问题 + 参考答案）
            │
            ▼
策略采样（Rollout）：模型按当前策略生成候选结果
            │
            ▼
奖励评分（Reward）：对比参考答案，给出 0~1 分（可以合并到 Rollout）
            │
            ▼
策略更新：根据奖励信号，强化高分策略、抑制低分策略
            │
            ▼
循环迭代：用更新后的模型重新采样，逐轮提升质量

支持的模型

支持 qwen3.5-9b 和 qwen3.5-35b-a3b。

训练单元价格

环境准备

按照以下步骤完成环境配置：

1. 获取 API Key：在百炼控制台获取 DashScope API Key。

2. 完成 RL 服务授权：在百炼控制台的模型调优页面完成一键授权。首次使用 RL 训练时，控制台会提示授权阿里云 OpenTelemetry、函数计算（FC）和日志服务（SLS）两项云服务。

   

3. 设置环境变量：以下变量由本地 SDK 读取，控制打包、上传和部署行为：

   • DASHSCOPE_API_KEY（必填）：API 密钥。

   • FC_PYPI_LIB（必填）：指定 FC 容器启动时安装的 dashscope 离线包。SDK 打包部署时会自动将该变量注入为 FC_SDK_PACKAGE，无需在 FC 侧手动安装。whl 文件名需与此变量完全一致，且放在项目根目录下。

   • LOG_LEVEL（可选，默认 info）：设为 debug 可输出完整请求/响应信息，便于排查提交失败等问题。

   export DASHSCOPE_API_KEY="sk-your-api-key"
   export FC_PYPI_LIB="dashscope-1.25.16-py3-none-any.whl"
   export LOG_LEVEL="info"

准备数据与代码

1. 下载 Demo 包 agentic-rl-example.zip。（该 Demo 运行最低要求 24 个 IV 型模型训练单元）

2. 下载完成后需要安装 DashScope SDK（要求 Python >= 3.10）：RL 训练需使用包含 finetune 模块的专用版本（公共 PyPI 版本不含此模块）。请使用 Demo 包中附带的离线安装包和相关依赖：

   pip install dashscope-1.25.16-py3-none-any.whl pydantic tenacity pyyaml

您将获得以下项目结构：

agentic-rl-example/
├── submit_job.py                         ← 主入口，提交训练任务
├── test_functions.py                     ← 函数注册与远程测试
├── config.yaml                           ← 可选的 YAML 配置文件
├── dashscope-1.25.16-py3-none-any.whl   ← 离线 SDK 安装包
├── requirements.txt                      ← 依赖清单
├── data/
│   ├── calc_train.jsonl                  ← 训练数据（完整版）
│   ├── calc_train_min.jsonl              ← 训练数据（Demo 默认使用精简版）
│   ├── calc_validation.jsonl             ← 验证数据（完整版）
│   └── calc_validation_min.jsonl         ← 验证数据（Demo 默认使用精简版）
├── functions/
│   ├── __init__.py
│   ├── rollout/
│   │   ├── rollout.py                    ← Rollout 函数（LangGraph + MCP 工具）
│   │   └── rollout_only.py              ← Rollout 函数（简单版，含追踪示例）
│   └── reward/
│       ├── reward.py                     ← Reward 函数（基础评分）
│       ├── reward_decorator.py           ← Reward 函数（装饰器风格）
│       └── group_reward.py              ← Reward 函数（分组评分）
└── resources/
    ├── rollout_input.json               ← Rollout 测试输入
    ├── reward_input.json                ← Reward 测试输入
    ├── reward_decorator_input.json      ← 装饰器 Reward 测试输入
    └── group_reward_input.json          ← 分组 Reward 测试输入

{"messages": [{"content": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?", "role": "user"}], "rollout_extra": {"solution": "72"}}

提交训练任务

Demo 中已包含 Rollout 和 Reward 函数，运行以下命令即可一步完成函数部署、数据上传、训练任务提交：

python submit_job.py

import asyncio
from dashscope.finetune.reinforcement import (
    RolloutFunctionComponent, RewardFunctionComponent,
    FunctionComponentModel, FunctionComponentRuntime,
    TrainingDataset, ValidationDataset, DataSourceType,
)
from dashscope.finetune.agentic_rl import AgenticRL

async def main():
    client = AgenticRL()

    # client.run() 一步完成：注册函数到 FC → 上传训练数据 → 提交训练任务
    result = await client.run(
        model="qwen3.5-9b",                              # 基座模型
        training_datasets=[TrainingDataset(              # 训练集
            data_source_type=DataSourceType.FILE_ID,
            file_name="./data/calc_train_min.jsonl",
        )],
        validation_datasets=[ValidationDataset(          # 验证集（可选）
            data_source_type=DataSourceType.FILE_ID,
            file_name="./data/calc_validation_min.jsonl",
        )],
        functions=[
            # Rollout 函数：定义模型如何执行策略采样
            RolloutFunctionComponent(
                name="rollout-1",
                timeout=600,
                fcmodel=FunctionComponentModel(
                    classpath="functions.rollout.rollout.CalcXRolloutProcessor"),
                runtime=FunctionComponentRuntime(
                    cpu=2, memory_size=4096, disk_size=512,
                    concurrency=30, capacity=30,
                    env={"ENABLE_TRAJECTORY": "true"})),  # FC 函数环境变量
            RewardFunctionComponent(
                name="reward-1",
                weight=1.0,
                timeout=120,
                fcmodel=FunctionComponentModel(
                    classpath="functions.reward.reward.DemoRewardProcessor"),
                runtime=FunctionComponentRuntime(
                    cpu=2, memory_size=4096, disk_size=512,
                    concurrency=30, capacity=30)),
        ],
        # MTU 计费配置
        resource_config={
            "charge_type": "mtu_postpaid",   # 后付费
            "mtu_spec_code": "MTU4",         # 训练单元规格
            "mtu_capacity": 1,               # MTU 数量
        },
        # GSPO 算法超参数（以下为 qwen3.5-9b 非 MoE 模型的全部必选超参）
        hyper_parameters={
            "algorithm": "gspo",             # 训练算法
            "n_epochs": 5,                   # 训练轮数
            "learning_rate": 7e-6,           # 学习率
            "lr_scheduler_type": "cosine",   # 学习率调度策略
            "batch_size": 128,               # 批大小
            "n_rollouts": 8,                 # 每个样本的 Rollout 次数
            "ppo_mini_batch_size": 16,       # PPO 小批量大小
            "kl_loss_coef": 0.001,           # KL 散度损失系数
            "max_length": 8192,              # 最大序列长度
            "eval_steps": 50,                # 每 N 步执行一次验证
            "save_steps": 100,               # 每 N 步保存一次 Checkpoint
            "save_strategy": "steps",        # 保存策略（steps 或 epoch）
            "save_total_limit": 3,           # 最多保留 Checkpoint 数
        })

    if result.status_code == 200:
        print(f"训练任务已提交，Job ID: {result.output.job_id}")
    else:
        print(f"提交失败: {result}")

asyncio.run(main())

训练过程观测与分析

任务提交后，run() 返回的 job_id 是后续查询训练状态的唯一标识。训练通常需要数十分钟到数小时，取决于数据量和模型大小。

在百炼控制台的模型调优页面点击任务进入详情页，包含以下 5 个页签：

各页签的详细说明请参见强化学习的可观测配置。

发布与部署模型

训练完成后，最后一个 Checkpoint 会自动发布至我的模型。如需发布中间 Checkpoint，前往百炼控制台模型调优 > 产出页面手动操作，详见在控制台进行模型调优。

发布后的模型可在我的模型页面进行部署。部署完成后即可通过 API 调用模型。详见模型部署。

后续步骤

• 了解函数开发的完整细节 → 强化学习开发指南

• 了解训练配置和监控 → 强化学习训练配置

• 了解可观测性配置与轨迹查看 → 强化学习的可观测配置