Qwen3-30B-A3B GRPO 四机训练
本文使用 run_qwen3-30b_grpo_node4_32k.sh,默认配置为 4 节点、每节点 8 张 MUSA GPU、32K response 长度。开始训练 前,请先在 MT-veRL 入门 中完成硬件插件、运行时 patch 和 Ray 环境检查。
1. 训练目标
示例使用 GRPO 完成 Qwen3-30B-A3B 的强化学习后训练:
Hugging Face 模型 + Parquet prompt
↓
SGLang rollout 生成 response
↓
reward 与优势计算
↓
Megatron Actor 更新参数
↓
checkpoint 与 TensorBoard 日志
训练入口为 verl.trainer.main_ppo。脚本使用 model_engine=megatron、trainer.device=musa 和 SGLang MUSA rollout。
2. 前置条件
2.1 节点与 GPU
| 项目 | 默认值 |
|---|---|
| 节点数 | 4 |
| 每节点 GPU 数 | 8 |
| 总 GPU 数 | 32 |
| 训练后端 | Megatron |
| Rollout 后端 | SGLang |
| 算法 | GRPO |
hostfile 第一行作为 Ray Head:
HEAD_IP
WORKER_IP_1
WORKER_IP_2
WORKER_IP_3
2.2 共享路径
所有节点必须通过相同路径访问:
- Hugging Face 模型;
- 训练与验证 Parquet 数据;
- checkpoint;
- TensorBoard 日志;
- 可选 reward 文件。
2.3 公共环境
确认已经完成以下配置:
set_env.sh中的路径在每个节点一致;runtime_env.yaml可以展开全部${变量};- Ray 可见 4 个节点和 32 个
GPU资源; verl.plugins中存在verl_hardware_plugin;MUSA_VISIBLE_DEVICES和RAY_EXPERIMENTAL_NOSET_MUSA_VISIBLE_DEVICES已进入 Ray Job 环境。
完整配置和验证命令见 MT-veRL 入门。
3. 准备模型和数据
进入示例目录:
cd /path/to/megatron-musa-titan/examples/rl/verl
示例启用 actor_rollout_ref.actor.megatron.use_mbridge=True 和 use_dist_checkpointing=False,直接从 HF_MODEL_PATH 加载 Hugging Face 权重。默认流程不需要手工转换 MCore checkpoint。
训练命令使用以下变量:
| 变量 | 是否必需 | 说明 |
|---|---|---|
HF_MODEL_PATH | 是 | Qwen3-30B-A3B Hugging Face 模型目录 |
TRAIN_FILES | 是 | 训练 Parquet 文件 |
VAL_FILES | 是 | 验证 Parquet 文件 |
CHECKPOINT_DIR | 建议 | checkpoint 输出目录;未设置时使用临时目录 |
TENSORBOARD_DIR | 否 | TensorBoard 输出目录 |
REWARD_FUNCTION_PATH | 否 | 自定义 reward 文件 |
JOB_ID | 否 | Ray Job ID;未设置时脚本自动生成 |
4. 检查训练配置
先展开 Hydra 配置,不提交训练任务:
HF_MODEL_PATH=/shared/models/Qwen3-30B-A3B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
DRY_RUN=cfg \
bash run_qwen3-30b_grpo_node4_32k.sh
检查输出中的:
model_engine=megatron;trainer.device=musa;- SGLang
device=musa; trainer.nnodes=4;- Actor 和 rollout 并行度;
- 模型、数据和输出路径。
5. 提交四机训练
HF_MODEL_PATH=/shared/models/Qwen3-30B-A3B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
CHECKPOINT_DIR=/shared/checkpoints/qwen3-30b-grpo \
TENSORBOARD_DIR=/shared/tensorboard/qwen3-30b-grpo \
JOB_ID=qwen3_30b_grpo_test_001 \
bash run_qwen3-30b_grpo_node4_32k.sh \
trainer.total_epochs=2 \
trainer.save_freq=100
脚本在文件存在时加载 set_env.sh,渲染 runtime_env.yaml,读取 hostfile 第一行作为 Ray Head,再提交 verl.trainer.main_ppo。
6. 使用自定义 reward
reward 文件需要提供 compute_score 函数。设置 REWARD_FUNCTION_PATH 后,脚本自动添加:
reward.custom_reward_function.path=${REWARD_FUNCTION_PATH}
reward.custom_reward_function.name=compute_score
示例:
HF_MODEL_PATH=/shared/models/Qwen3-30B-A3B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
CHECKPOINT_DIR=/shared/checkpoints/qwen3-30b-grpo \
REWARD_FUNCTION_PATH=/shared/rewards/reward.py \
bash run_qwen3-30b_grpo_node4_32k.sh
不需要自定义 reward 时,省略 REWARD_FUNCTION_PATH。
7. 关键训练参数
| 参数 | 默认值 | 说明 |
|---|---|---|
data.train_batch_size | 64 | 训练 prompt 批大小 |
data.max_prompt_length | 1024 | 最大 prompt 长度 |
data.max_response_length | 32768 | 最大 response 长度 |
data.prompt_key | source_prompt | Parquet 中的 prompt 字段 |
Actor TP/PP/EP/ETP | 4/1/8/1 | Megatron 并行配置 |
Rollout TP/DP/EP | 4/1/1 | SGLang rollout 并行配置 |
actor_rollout_ref.rollout.n | 8 | 每个 prompt 的 rollout 数 |
actor_rollout_ref.actor.megatron.use_mbridge | True | 通过 Megatron Bridge 加载权重 |
use_dist_checkpointing | False | 默认不使用分布式 checkpoint |
gpu_memory_utilization | 0.65 | SGLang 显存利用率 |
SGLang attention_backend | fa3 | Rollout 使用 FA3 |
上述参数与显存、模型长度、节点规模相互关联。修改后重新执行 DRY_RUN=cfg,再启动完整训练。
8. 监控训练
RAY_ADDRESS="http://HEAD_IP:8265" ray job list
RAY_ADDRESS="http://HEAD_IP:8265" ray job status qwen3_30b_grpo_test_001
RAY_ADDRESS="http://HEAD_IP:8265" ray job logs qwen3_30b_grpo_test_001 --follow
重点检查:
- Actor、rollout 和 reference Worker 是否全部启动;
- 每个 Worker 的 MUSA 设备数;
- SGLang 是否使用 MUSA 和 FA3;
- reward、KL、entropy 和 response 长度;
- MCCL 是否出现 timeout;
- checkpoint 和 TensorBoard 是否正常写入。
9. 常见问题
9.1 配置展开提示变量缺失
在 set_env.sh 或命令前补齐错误信息列出的变量。不要只检查启动节点,应该检查 Ray Worker 的最终环境。
9.2 SGLang scheduler 退出
向前搜索第一条 kernel、OOM、graph capture 或模型加载错误。scheduler is dead 通常是上游错误造成的结果。
9.3 Actor 更新阶段失败
检查 Megatron Bridge、MUSA patch、Actor 并行度和 checkpoint 配置。不要沿用旧版手工 MCore 转换参数。
9.4 MCCL timeout
检查网卡、路由、MCCL 配置和其他 rank 的更早异常。某个 Worker 的 OOM 或模型加载失败也会表现为整体超时。
10. 相关工作
- MT-veRL 入门:插件、运行时 patch、公共环境和 Ray 检查;
- Qwen3-8B GRPO 双机训练:双机 Dense 模型及分离异步示例;
- veRL 官方文档:算法与配置说明。

