跳到主要内容

Qwen3-8B GRPO 双机训练

适用范围

本文使用 run_qwen3-8b_grpo_node2_32k.sh 和 run_qwen3-8b_grpo_node2_32k_separate_async_musa.sh,默认配置为 2 节点、每节点 8 张 MUSA GPU、32K response 长度。开始训练前,请先在 MT-veRL 入门 中完成硬件插件、运行时 patch 和 Ray 环境检查。

1. 训练目标​

示例使用 GRPO 完成 Qwen3-8B 的强化学习后训练:

Hugging Face 模型 + Parquet prompt
↓
SGLang rollout 生成 response
↓
reward 与优势计算
↓
Megatron Actor 更新参数
↓
checkpoint 与日志输出

基础脚本使用 model_engine=megatron、trainer.device=musa 和 SGLang MUSA rollout。MUSA 平台和引擎由 verl_hardware_plugin 注册,运行时兼容由 Titan patch 提供。

2. 前置条件​

2.1 节点与 GPU​

项目默认值
节点数2
每节点 GPU 数8
总 GPU 数16
训练后端Megatron
Rollout 后端SGLang
算法GRPO

hostfile 第一行作为 Ray Head:

HEAD_IP
WORKER_IP_1

2.2 共享路径​

所有节点必须通过相同路径访问:

  • Hugging Face 模型;
  • 训练与验证 Parquet 数据;
  • checkpoint;
  • 日志和可选 reward 文件。

2.3 公共环境​

确认已经完成以下配置:

  • set_env.sh 和 runtime_env.yaml 中的路径在所有节点一致;
  • Ray 可见 2 个节点和 16 个 GPU 资源;
  • 硬件插件和 Titan patch 已通过环境检查;
  • MUSA_VISIBLE_DEVICES 和 RAY_EXPERIMENTAL_NOSET_MUSA_VISIBLE_DEVICES 已进入 Ray Job 环境。

完整配置和验证命令见 MT-veRL 入门。

3. 准备模型和数据​

进入示例目录:

cd /path/to/megatron-musa-titan/examples/rl/verl

基础脚本启用:

actor_rollout_ref.actor.megatron.use_mbridge=True
actor_rollout_ref.actor.megatron.use_dist_checkpointing=False

因此训练直接从 HF_MODEL_PATH 加载 Hugging Face 权重,默认不需要手工转换 MCore checkpoint。

训练命令使用以下变量:

变量是否必需说明
HF_MODEL_PATH是Qwen3-8B Hugging Face 模型目录
TRAIN_FILES是训练 Parquet 文件
VAL_FILES是验证 Parquet 文件
CHECKPOINT_DIR建议checkpoint 输出目录
TENSORBOARD_DIR否TensorBoard 输出目录
REWARD_FUNCTION_PATH否自定义 reward 文件
JOB_ID否Ray Job ID;未设置时脚本自动生成

4. 检查训练配置​

HF_MODEL_PATH=/shared/models/Qwen3-8B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
DRY_RUN=cfg \
bash run_qwen3-8b_grpo_node2_32k.sh

检查输出中的:

  • trainer.nnodes=2;
  • trainer.n_gpus_per_node=8;
  • model_engine=megatron;
  • trainer.device=musa;
  • SGLang device=musa;
  • 模型、数据和输出路径。

5. 提交双机训练​

HF_MODEL_PATH=/shared/models/Qwen3-8B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
CHECKPOINT_DIR=/shared/checkpoints/qwen3-8b-grpo \
TENSORBOARD_DIR=/shared/tensorboard/qwen3-8b-grpo \
JOB_ID=qwen3_8b_grpo_test_001 \
bash run_qwen3-8b_grpo_node2_32k.sh

可以通过 Hydra 参数覆盖训练轮数和保存频率:

HF_MODEL_PATH=/shared/models/Qwen3-8B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
CHECKPOINT_DIR=/shared/checkpoints/qwen3-8b-grpo \
bash run_qwen3-8b_grpo_node2_32k.sh \
trainer.total_epochs=2 \
trainer.save_freq=100

6. 使用自定义 reward​

reward 文件需要提供 compute_score 函数。设置 REWARD_FUNCTION_PATH 后,脚本自动添加:

reward.custom_reward_function.path=${REWARD_FUNCTION_PATH}
reward.custom_reward_function.name=compute_score

示例:

HF_MODEL_PATH=/shared/models/Qwen3-8B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
CHECKPOINT_DIR=/shared/checkpoints/qwen3-8b-grpo \
REWARD_FUNCTION_PATH=/shared/rewards/reward.py \
bash run_qwen3-8b_grpo_node2_32k.sh

不需要自定义 reward 时,省略 REWARD_FUNCTION_PATH。

7. 关键训练参数​

参数默认值说明
data.train_batch_size64训练 prompt 批大小
data.max_prompt_length1024最大 prompt 长度,可由环境变量覆盖
data.max_response_length32768最大 response 长度,可由环境变量覆盖
Actor TP/PP/CP/EP/ETP2/2/1/1/1Megatron 并行配置
Rollout TP/EP/DP4/1/1SGLang rollout 并行配置
actor_rollout_ref.rollout.n8每个 prompt 的 rollout 数
actor_rollout_ref.actor.megatron.use_mbridgeTrue通过 Megatron Bridge 加载权重
use_dist_checkpointingFalse默认不使用分布式 checkpoint
gpu_memory_utilization0.7SGLang 显存利用率
SGLang attention_backendfa3Rollout 使用 FA3

需要缩短序列长度时,可以覆盖:

MAX_PROMPT_LENGTH=2048 \
MAX_RESPONSE_LENGTH=16384 \
HF_MODEL_PATH=/shared/models/Qwen3-8B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
CHECKPOINT_DIR=/shared/checkpoints/qwen3-8b-grpo \
bash run_qwen3-8b_grpo_node2_32k.sh

修改长度、batch、显存或并行度后,需要重新执行 DRY_RUN=cfg 并完成小规模验证。

8. 分离异步模式​

run_qwen3-8b_grpo_node2_32k_separate_async_musa.sh 在基础脚本上启用 veRL v1 分离异步模式:

配置默认值说明
trainer.use_v1True启用 veRL v1 runner
trainer.v1.trainer_modeseparate_async训练与 rollout 异步执行
actor_rollout_ref.hybrid_engineFalse关闭共置 HybridEngine
TRAIN_NNODES1训练节点数
ROLLOUT_NNODES1Rollout 节点数
CHECKPOINT_BACKENDmooncake权重同步后端
trainer.v1.separate_async.parameter_sync_step4参数同步间隔
trainer.v1.separate_async.num_warmup_batches1预热批次数

启动示例:

HF_MODEL_PATH=/shared/models/Qwen3-8B \
TRAIN_FILES=/shared/data/train.parquet \
VAL_FILES=/shared/data/val.parquet \
CHECKPOINT_DIR=/shared/checkpoints/qwen3-8b-separate-async \
TRAIN_NNODES=1 \
ROLLOUT_NNODES=1 \
CHECKPOINT_BACKEND=mooncake \
JOB_ID=qwen3_8b_separate_async_test_001 \
bash run_qwen3-8b_grpo_node2_32k_separate_async_musa.sh

分离模式额外依赖独立的训练与 rollout 资源、Mooncake MUSA 后端和权重同步链路。首次验证时使用默认 batch 和较短训练步数,先验证基础双机模式,再启用分离异步模式。

9. 监控训练​

RAY_ADDRESS="http://HEAD_IP:8265" ray job list
RAY_ADDRESS="http://HEAD_IP:8265" ray job status qwen3_8b_grpo_test_001
RAY_ADDRESS="http://HEAD_IP:8265" ray job logs qwen3_8b_grpo_test_001 --follow

重点检查:

  • Actor、rollout 和 reference Worker 是否启动;
  • 每个 Worker 的 MUSA 设备数;
  • SGLang FA3、graph capture 和 KV Cache;
  • reward、KL、response 长度和 checkpoint;
  • MCCL 和 Mooncake 是否出现超时或连接错误。

10. 常见问题​

10.1 配置显示 4 个节点​

确认执行的是 run_qwen3-8b_grpo_node2_32k.sh,并检查命令行或外部配置是否覆盖了 trainer.nnodes。

10.2 手工准备 MCore checkpoint 后仍无法加载​

默认脚本设置 use_dist_checkpointing=False,从 HF_MODEL_PATH 直接加载模型。只有显式修改配置后才会使用分布式 checkpoint 路径。

10.3 分离异步模式启动失败​

先验证基础双机训练。分离模式额外依赖 veRL v1、独立 rollout 资源和 Mooncake MUSA 权重同步。

10.4 SGLang 显存不足​

优先降低 MAX_RESPONSE_LENGTH、rollout 并发或 GPU 显存利用率,再重新展开配置。不要只提高并行度后直接重试。

11. 相关工作​