跳到主要内容

Qwen3-30B-A3B GRPO 四机训练

适用范围

本文使用 run_qwen3-30b_grpo_node4_32k.sh,默认配置为 4 节点、每节点 8 张 MUSA GPU、32K response 长度。开始训练前,请先在 MT-veRL 入门 中完成硬件插件、运行时 patch 和 Ray 环境检查。

1. 训练目标​

示例使用 GRPO 完成 Qwen3-30B-A3B 的强化学习后训练:

Hugging Face 模型 + Parquet prompt
↓
SGLang rollout 生成 response
↓
reward 与优势计算
↓
Megatron Actor 更新参数
↓
checkpoint 与 TensorBoard 日志

训练入口为 verl.trainer.main_ppo。脚本使用 model_engine=megatron、trainer.device=musa 和 SGLang MUSA rollout。

2. 前置条件​

2.1 节点与 GPU​

项目默认值
节点数4
每节点 GPU 数8
总 GPU 数32
训练后端Megatron
Rollout 后端SGLang
算法GRPO

hostfile 第一行作为 Ray Head:

HEAD_IP
WORKER_IP_1
WORKER_IP_2
WORKER_IP_3

2.2 共享路径​

所有节点必须通过相同路径访问:

  • Hugging Face 模型;
  • 训练与验证 Parquet 数据;
  • checkpoint;
  • TensorBoard 日志;
  • 可选 reward 文件。

2.3 公共环境​

确认已经完成以下配置:

  • set_env.sh 中的路径在每个节点一致;
  • runtime_env.yaml 可以展开全部 ${变量};
  • Ray 可见 4 个节点和 32 个 GPU 资源;
  • verl.plugins 中存在 verl_hardware_plugin;
  • MUSA_VISIBLE_DEVICES 和 RAY_EXPERIMENTAL_NOSET_MUSA_VISIBLE_DEVICES 已进入 Ray Job 环境。

完整配置和验证命令见 MT-veRL 入门。

3. 准备模型和数据​

进入示例目录:

cd /path/to/megatron-musa-titan/examples/rl/verl

示例启用 actor_rollout_ref.actor.megatron.use_mbridge=True 和 use_dist_checkpointing=False,直接从 HF_MODEL_PATH 加载 Hugging Face 权重。默认流程不需要手工转换 MCore checkpoint。

训练命令使用以下变量:

变量是否必需说明
HF_MODEL_PATH是Qwen3-30B-A3B Hugging Face 模型目录
TRAIN_FILES是训练 Parquet 文件
VAL_FILES是验证 Parquet 文件
CHECKPOINT_DIR建议checkpoint 输出目录;未设置时使用临时目录
TENSORBOARD_DIR否TensorBoard 输出目录
REWARD_FUNCTION_PATH否自定义 reward 文件
JOB_ID否Ray Job ID;未设置时脚本自动生成

4. 检查训练配置​

先展开 Hydra 配置,不提交训练任务:

HF_MODEL_PATH=/shared/models/Qwen3-30B-A3B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
DRY_RUN=cfg \
bash run_qwen3-30b_grpo_node4_32k.sh

检查输出中的:

  • model_engine=megatron;
  • trainer.device=musa;
  • SGLang device=musa;
  • trainer.nnodes=4;
  • Actor 和 rollout 并行度;
  • 模型、数据和输出路径。

5. 提交四机训练​

HF_MODEL_PATH=/shared/models/Qwen3-30B-A3B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
CHECKPOINT_DIR=/shared/checkpoints/qwen3-30b-grpo \
TENSORBOARD_DIR=/shared/tensorboard/qwen3-30b-grpo \
JOB_ID=qwen3_30b_grpo_test_001 \
bash run_qwen3-30b_grpo_node4_32k.sh \
trainer.total_epochs=2 \
trainer.save_freq=100

脚本在文件存在时加载 set_env.sh,渲染 runtime_env.yaml,读取 hostfile 第一行作为 Ray Head,再提交 verl.trainer.main_ppo。

6. 使用自定义 reward​

reward 文件需要提供 compute_score 函数。设置 REWARD_FUNCTION_PATH 后,脚本自动添加:

reward.custom_reward_function.path=${REWARD_FUNCTION_PATH}
reward.custom_reward_function.name=compute_score

示例:

HF_MODEL_PATH=/shared/models/Qwen3-30B-A3B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
CHECKPOINT_DIR=/shared/checkpoints/qwen3-30b-grpo \
REWARD_FUNCTION_PATH=/shared/rewards/reward.py \
bash run_qwen3-30b_grpo_node4_32k.sh

不需要自定义 reward 时,省略 REWARD_FUNCTION_PATH。

7. 关键训练参数​

参数默认值说明
data.train_batch_size64训练 prompt 批大小
data.max_prompt_length1024最大 prompt 长度
data.max_response_length32768最大 response 长度
data.prompt_keysource_promptParquet 中的 prompt 字段
Actor TP/PP/EP/ETP4/1/8/1Megatron 并行配置
Rollout TP/DP/EP4/1/1SGLang rollout 并行配置
actor_rollout_ref.rollout.n8每个 prompt 的 rollout 数
actor_rollout_ref.actor.megatron.use_mbridgeTrue通过 Megatron Bridge 加载权重
use_dist_checkpointingFalse默认不使用分布式 checkpoint
gpu_memory_utilization0.65SGLang 显存利用率
SGLang attention_backendfa3Rollout 使用 FA3

上述参数与显存、模型长度、节点规模相互关联。修改后重新执行 DRY_RUN=cfg,再启动完整训练。

8. 监控训练​

RAY_ADDRESS="http://HEAD_IP:8265" ray job list
RAY_ADDRESS="http://HEAD_IP:8265" ray job status qwen3_30b_grpo_test_001
RAY_ADDRESS="http://HEAD_IP:8265" ray job logs qwen3_30b_grpo_test_001 --follow

重点检查:

  • Actor、rollout 和 reference Worker 是否全部启动;
  • 每个 Worker 的 MUSA 设备数;
  • SGLang 是否使用 MUSA 和 FA3;
  • reward、KL、entropy 和 response 长度;
  • MCCL 是否出现 timeout;
  • checkpoint 和 TensorBoard 是否正常写入。

9. 常见问题​

9.1 配置展开提示变量缺失​

在 set_env.sh 或命令前补齐错误信息列出的变量。不要只检查启动节点,应该检查 Ray Worker 的最终环境。

9.2 SGLang scheduler 退出​

向前搜索第一条 kernel、OOM、graph capture 或模型加载错误。scheduler is dead 通常是上游错误造成的结果。

9.3 Actor 更新阶段失败​

检查 Megatron Bridge、MUSA patch、Actor 并行度和 checkpoint 配置。不要沿用旧版手工 MCore 转换参数。

9.4 MCCL timeout​

检查网卡、路由、MCCL 配置和其他 rank 的更早异常。某个 Worker 的 OOM 或模型加载失败也会表现为整体超时。

10. 相关工作​