跳到主要内容

Qwen3-30B-A3B 强化学习训练

适用脚本

本文使用 Megatron-MUSA-Titan 中的 examples/rl/miles/demo_run-qwen3-30B-A3B.sh。该脚本是当前已验证的 Miles v0.1.0 Qwen3-30B-A3B 训练入口。开始前,请先完成 MT-Miles 入门中的源码、MUSA 和 Ray 检查。

1. 训练目标​

示例使用 GRPO 对 Qwen3-30B-A3B 执行强化学习后训练。输入数据为带 prompt 和 reward metadata 的 Parquet 文件,SGLang-MUSA 负责生成 response,Megatron-LM 负责 actor 参数更新,Miles 负责 reward、advantage 计算、数据组织和权重同步。

Parquet prompt + reward metadata
↓
SGLang-MUSA 生成 response
↓
Miles 计算 reward 与 GRPO advantage
↓
Megatron-LM 更新 actor 参数
↓
p2p-broadcast 同步权重
↓
checkpoint + evaluation

2. 资源和并行配置​

示例启动以下资源布局:

角色节点数GPU 数主要并行配置
Actor18PP=2、EP=4、TP=1、CP=1
Rollout跨节点16每个 SGLang engine 使用 4 张 GPU,EP=4、DP=4

启动脚本使用 --actor-num-nodes 1、--actor-num-gpus-per-node 8 和 --rollout-num-gpus 16 向 Ray 申请资源。集群的可用 GPU、节点拓扑和网络配置必须满足该资源布局。

3. 准备模型、数据和目录​

在 set_env.sh 中设置以下目录:

变量用途
HF_CHECKPOINTQwen3-30B-A3B Hugging Face 格式模型目录
REF_LOADMiles 训练使用的参考和初始 checkpoint
SAVE_PATH训练 checkpoint 输出目录
DATASET_PATH训练和评测 Parquet 文件所在目录

示例读取以下数据文件:

${DATASET_PATH}/amt_math17k_d_qweninstruct.parquet
${DATASET_PATH}/aime_2025.parquet

训练前确认文件存在:

source /path/to/megatron-musa-titan/examples/rl/miles/set_env.sh

test -f "${DATASET_PATH}/amt_math17k_d_qweninstruct.parquet"
test -f "${DATASET_PATH}/aime_2025.parquet"
test -d "${HF_CHECKPOINT}"
test -d "${REF_LOAD}"
mkdir -p "${SAVE_PATH}"

所有 Ray 节点应能访问相同的模型、数据和 checkpoint 路径。不要只在 head 节点准备本地路径,否则训练 worker 可能无法加载模型或数据。

4. 检查运行环境​

加载 set_env.sh 后执行:

source /path/to/megatron-musa-titan/examples/rl/miles/set_env.sh

python3 - <<'PY'
import os
import torch
import torch_musa

print("MUSA available:", torch.musa.is_available())
print("MUSA device count:", torch.musa.device_count())
print("MUSA_TITAN_PATH:", os.environ["MUSA_TITAN_PATH"])
print("RUNTIME_PYTHONPATH:", os.environ["RUNTIME_PYTHONPATH"])
PY

检查 Ray 集群:

ray status --address="http://${RAY_HEAD_IP}:${RAY_DASHBOARD_PORT}"

确认:

  • torch.musa.is_available() 为 True;
  • 每节点可识别 8 张 MUSA GPU;
  • Ray 集群中存在足够满足 8 张 actor GPU 和 16 张 rollout GPU 的资源;
  • MUSA_TITAN_PATH 位于 RUNTIME_PYTHONPATH 首位;
  • head 节点可以通过 RAY_HEAD_IP:8972 访问 Ray Dashboard。

5. 启动训练​

进入 Megatron-MUSA-Titan 目录并执行:

cd /path/to/megatron-musa-titan
source examples/rl/miles/set_env.sh
bash examples/rl/miles/demo_run-qwen3-30B-A3B.sh

脚本自动完成以下操作:

  1. 读取 set_env.sh,检查必需路径和变量;
  2. 调用 model_args_utils.py 生成 Qwen3-30B-A3B 的 Megatron 模型参数;
  3. 展开 runtime_env.yaml,向 Ray Job 传递 MUSA、MCCL、Gloo 和 Python 环境;
  4. 使用 ray job submit --no-wait 提交训练任务;
  5. 通过 ray job logs -f 持续跟踪日志并写入本地文件。

本次 runtime_env.yaml 中与 MUSA 有关的关键配置包括:

ACCELERATOR_BACKEND=musa
MUSA_VISIBLE_DEVICES=<当前节点 GPU>
MCCL_LIB=<MCCL 动态库路径>
GLOO_SOCKET_IFNAME=<节点通信网卡>
UPDATE_MODE=p2p-broadcast
MILES_MUSA_PATCH_AT_STARTUP=1
RAY_EXPERIMENTAL_NOSET_MUSA_VISIBLE_DEVICES=1

6. 查看日志和判断结果​

脚本将日志写入:

examples/rl/miles/logs/miles_demo_qwen3-30B-A3B.log

从另一个终端跟踪日志:

tail -f /path/to/megatron-musa-titan/examples/rl/miles/logs/miles_demo_qwen3-30B-A3B.log

一次有效运行至少应满足以下条件:

  1. MUSA-Titan 初始化完成,Miles 启动时成功加载 MUSA patch;
  2. SGLang-MUSA rollout engine 启动并进入健康状态;
  3. 至少完成一次训练侧权重更新和 p2p-broadcast 权重同步;
  4. 日志中出现 step 0 或 step 1 等训练进度标记;
  5. 没有尚未处理的 MUSA kernel、MCCL 通信或 Ray worker 异常。

只看到 Ray Job 提交成功、SGLang engine 启动或页面可访问,不能判定训练成功。需要同时确认训练 step 和权重更新已经完成。

7. 停止任务​

脚本使用 --no-wait 提交 Ray Job。需要手动停止时,先根据脚本输出的 JOB_ID 查询任务:

ray job list --address="http://${RAY_HEAD_IP}:${RAY_DASHBOARD_PORT}"

确定任务已经不需要继续执行后,再停止对应 Job:

ray job stop --address="http://${RAY_HEAD_IP}:${RAY_DASHBOARD_PORT}" <JOB_ID>

停止任务会终止 Ray Job 中尚未完成的 actor 和 rollout worker。执行前确认已保存所需 checkpoint。

8. 常见问题​

8.1 提示 Set RAY_HEAD_IP or provide .../hostfile​

在 set_env.sh 中设置 RAY_HEAD_IP,或在 examples/rl/miles/hostfile 中写入 Ray 节点地址。hostfile 第一行作为 head 节点。确认 head 节点的 8972 端口可访问。

8.2 torch.musa.is_available() 为 False​

先确认当前 shell 已加载 set_env.sh,再检查 MUSA_VISIBLE_DEVICES 和 Linux Driver 的设备可见性。不要用设置 CUDA_VISIBLE_DEVICES 的方式替代 MUSA 设备选择。

8.3 Ray Job 一直等待资源​

使用 ray status 检查 actor 和 rollout 所需的 GPU 是否可见。确认没有其他任务占用设备,并检查所有节点的 MUSA 环境是否一致。

8.4 Ray worker 找不到 Miles 或 Titan 模块​

检查 RUNTIME_PYTHONPATH,确认 MUSA_TITAN_PATH 位于首位,并确认 MILES_PATH、MEGATRON_PATH 在 Ray Job 内仍指向有效目录。runtime_env.yaml 会在提交任务前展开这些路径。

8.5 SGLang engine 启动失败​

先查看第一个失败 worker 的原始异常,再向前检查 MUSA 算子、模型路径、attention backend 和显存配置。scheduler is dead、Ray actor died 等通常是后续级联错误,不能直接作为根因。

8.6 多节点训练卡在权重同步​

确认所有节点使用同一套软件和模型配置,节点间 Gloo/MCCL 可通信,TCP 23000 起的端口未被防火墙拦截,并检查权重同步开始前是否存在 OOM 或 actor 退出。

8.7 可以使用 Miles main 或其他版本吗​

当前训练范围只覆盖 Miles v0.1.0。Miles main、后续发布版本和开发快照的源码布局或内部接口可能变化,不在 v2.2.0 支持范围内。

9. 相关链接​