Qwen3-8B GRPO 双机训练
适用范围
本文使用 run_qwen3-8b_grpo_node2_32k.sh 和 run_qwen3-8b_grpo_node2_32k_separate_async_musa.sh,默认配置为 2 节点 、每节点 8 张 MUSA GPU、32K response 长度。开始训练前,请先在 MT-veRL 入门 中完成硬件插件、运行时 patch 和 Ray 环境检查。
1. 训练目标
示例使用 GRPO 完成 Qwen3-8B 的强化学习后训练:
Hugging Face 模型 + Parquet prompt
↓
SGLang rollout 生成 response
↓
reward 与优势计算
↓
Megatron Actor 更新参数
↓
checkpoint 与日志输出
基础脚本使用 model_engine=megatron、trainer.device=musa 和 SGLang MUSA rollout。MUSA 平台和引擎由 verl_hardware_plugin 注册,运行时兼容由 Titan patch 提供。
2. 前置条件
2.1 节点与 GPU
| 项目 | 默认值 |
|---|---|
| 节点数 | 2 |
| 每节点 GPU 数 | 8 |
| 总 GPU 数 | 16 |
| 训练后端 | Megatron |
| Rollout 后端 | SGLang |
| 算法 | GRPO |
hostfile 第一行作为 Ray Head:
HEAD_IP
WORKER_IP_1
2.2 共享路径
所有节点必须通过相同路径访问:
- Hugging Face 模型;
- 训练与验证 Parquet 数据;
- checkpoint;
- 日志和可选 reward 文件。
2.3 公共环境
确认已经完成以下配置:
set_env.sh和runtime_env.yaml中的路径在所有节点一致;- Ray 可见 2 个节点和 16 个
GPU资源; - 硬件插件和 Titan patch 已通过环境检查;
MUSA_VISIBLE_DEVICES和RAY_EXPERIMENTAL_NOSET_MUSA_VISIBLE_DEVICES已进入 Ray Job 环境。
完整配置和验证命令见 MT-veRL 入门。
3. 准备模型和数据
进入示例目录:
cd /path/to/megatron-musa-titan/examples/rl/verl
基础脚本启用:
actor_rollout_ref.actor.megatron.use_mbridge=True
actor_rollout_ref.actor.megatron.use_dist_checkpointing=False
因此训练直接从 HF_MODEL_PATH 加载 Hugging Face 权重,默认不需要手工转换 MCore checkpoint。
训练命令使用以下变量:
| 变量 | 是否必需 | 说明 |
|---|---|---|
HF_MODEL_PATH | 是 | Qwen3-8B Hugging Face 模型目录 |
TRAIN_FILES | 是 | 训练 Parquet 文件 |
VAL_FILES | 是 | 验证 Parquet 文件 |
CHECKPOINT_DIR | 建议 | checkpoint 输出目录 |
TENSORBOARD_DIR | 否 | TensorBoard 输出目录 |
REWARD_FUNCTION_PATH | 否 | 自定义 reward 文件 |
JOB_ID | 否 | Ray Job ID;未设置时脚本自动生成 |
4. 检查训练配置
HF_MODEL_PATH=/shared/models/Qwen3-8B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
DRY_RUN=cfg \
bash run_qwen3-8b_grpo_node2_32k.sh
检查输出中的:
trainer.nnodes=2;trainer.n_gpus_per_node=8;model_engine=megatron;trainer.device=musa;- SGLang
device=musa; - 模型、数据和输出路径。