Qwen3-30B-A3B 强化学习训练
本文使用 Megatron-MUSA-Titan 中的 examples/rl/miles/demo_run-qwen3-30B-A3B.sh。该脚本是当前已验证的 Miles v0.1.0 Qwen3-30B-A3B 训练入口。开始前,请先完成 MT-Miles 入门中的源码、MUSA 和 Ray 检查。
1. 训练目标
示例使用 GRPO 对 Qwen3-30B-A3B 执行强化学习后训练。输入数据为带 prompt 和 reward metadata 的 Parquet 文件,SGLang-MUSA 负责生成 response,Megatron-LM 负责 actor 参数更新,Miles 负责 reward、advantage 计算、数据组织和权重同步。
Parquet prompt + reward metadata
↓
SGLang-MUSA 生成 response
↓
Miles 计算 reward 与 GRPO advantage
↓
Megatron-LM 更新 actor 参数
↓
p2p-broadcast 同步权重
↓
checkpoint + evaluation
2. 资源和并行配置
示例启动以下资源布局:
| 角色 | 节点数 | GPU 数 | 主要并行配置 |
|---|---|---|---|
| Actor | 1 | 8 | PP=2、EP=4、TP=1、CP=1 |
| Rollout | 跨节点 | 16 | 每个 SGLang engine 使用 4 张 GPU,EP=4、DP=4 |
启动脚本使用 --actor-num-nodes 1、--actor-num-gpus-per-node 8 和 --rollout-num-gpus 16 向 Ray 申请资源。集群的可用 GPU、节点拓扑和网络配置必须满足该资源布局。
3. 准备模型、数据和目录
在 set_env.sh 中设置以下目录:
| 变量 | 用途 |
|---|---|
HF_CHECKPOINT | Qwen3-30B-A3B Hugging Face 格式模型目录 |
REF_LOAD | Miles 训练使用的参考和初始 checkpoint |
SAVE_PATH | 训练 checkpoint 输出目录 |
DATASET_PATH | 训练和评测 Parquet 文件所在目录 |
示例读取以下数据文件:
${DATASET_PATH}/amt_math17k_d_qweninstruct.parquet
${DATASET_PATH}/aime_2025.parquet
训练前确认文件存在:
source /path/to/megatron-musa-titan/examples/rl/miles/set_env.sh
test -f "${DATASET_PATH}/amt_math17k_d_qweninstruct.parquet"
test -f "${DATASET_PATH}/aime_2025.parquet"
test -d "${HF_CHECKPOINT}"
test -d "${REF_LOAD}"
mkdir -p "${SAVE_PATH}"
所有 Ray 节点应能访问相同的模型、数据和 checkpoint 路径。不要只在 head 节点准备本地路径,否则训练 worker 可能无法加载模型或数据。
4. 检查运行环境
加载 set_env.sh 后执行:
source /path/to/megatron-musa-titan/examples/rl/miles/set_env.sh
python3 - <<'PY'
import os
import torch
import torch_musa
print("MUSA available:", torch.musa.is_available())
print("MUSA device count:", torch.musa.device_count())
print("MUSA_TITAN_PATH:", os.environ["MUSA_TITAN_PATH"])
print("RUNTIME_PYTHONPATH:", os.environ["RUNTIME_PYTHONPATH"])
PY
检查 Ray 集群:
ray status --address="http://${RAY_HEAD_IP}:${RAY_DASHBOARD_PORT}"
确认:
torch.musa.is_available()为True;- 每节点可识别 8 张 MUSA GPU;
- Ray 集群中存在足够满足 8 张 actor GPU 和 16 张 rollout GPU 的资源;
MUSA_TITAN_PATH位于RUNTIME_PYTHONPATH首位;- head 节点可以通过
RAY_HEAD_IP:8972访问 Ray Dashboard。
5. 启动训练
进入 Megatron-MUSA-Titan 目录并执行:
cd /path/to/megatron-musa-titan
source examples/rl/miles/set_env.sh
bash examples/rl/miles/demo_run-qwen3-30B-A3B.sh
脚本自动完成以下操作:
- 读取
set_env.sh,检查必需路径和变量; - 调用
model_args_utils.py生成 Qwen3-30B-A3B 的 Megatron 模型参数; - 展开
runtime_env.yaml,向 Ray Job 传递 MUSA、MCCL、Gloo 和 Python 环境; - 使用
ray job submit --no-wait提交训练任务; - 通过
ray job logs -f持续跟踪日志并写入本地文件。
本次 runtime_env.yaml 中与 MUSA 有关的关键配置包括:
ACCELERATOR_BACKEND=musa
MUSA_VISIBLE_DEVICES=<当前节点 GPU>
MCCL_LIB=<MCCL 动态库路径>
GLOO_SOCKET_IFNAME=<节点通信网卡>
UPDATE_MODE=p2p-broadcast
MILES_MUSA_PATCH_AT_STARTUP=1
RAY_EXPERIMENTAL_NOSET_MUSA_VISIBLE_DEVICES=1
6. 查看日志和判断结果
脚本将日志写入:
examples/rl/miles/logs/miles_demo_qwen3-30B-A3B.log
从另一个终端跟踪日志:
tail -f /path/to/megatron-musa-titan/examples/rl/miles/logs/miles_demo_qwen3-30B-A3B.log
一次有效运行至少应满足以下条件:
- MUSA-Titan 初始化完成,Miles 启动时成功加载 MUSA patch;
- SGLang-MUSA rollout engine 启动并进入健康状态;
- 至少完成一次训练侧权重更新和
p2p-broadcast权重同步; - 日志中出现
step 0或step 1等训练进度标记; - 没有尚未处理的 MUSA kernel、MCCL 通信或 Ray worker 异常。
只看到 Ray Job 提交成功、SGLang engine 启动或页面可访问,不能判定训练成功。需要同时确认训练 step 和权重更新已经完成。
7. 停止任务
脚本使用 --no-wait 提交 Ray Job。需要手动停止时,先根据脚本输出的 JOB_ID 查询任务:
ray job list --address="http://${RAY_HEAD_IP}:${RAY_DASHBOARD_PORT}"
确定任务已经不需要继续执行后,再停止对应 Job:
ray job stop --address="http://${RAY_HEAD_IP}:${RAY_DASHBOARD_PORT}" <JOB_ID>
停止任务会终止 Ray Job 中尚未完成的 actor 和 rollout worker。执行前确认已保存所需 checkpoint。
8. 常见问题
8.1 提示 Set RAY_HEAD_IP or provide .../hostfile
在 set_env.sh 中设置 RAY_HEAD_IP,或在 examples/rl/miles/hostfile 中写入 Ray 节点地址。hostfile 第一行作为 head 节点。确认 head 节点的 8972 端口可访问。
8.2 torch.musa.is_available() 为 False
先确认当前 shell 已加载 set_env.sh,再检查 MUSA_VISIBLE_DEVICES 和 Linux Driver 的设备可见性。不要用设置 CUDA_VISIBLE_DEVICES 的方式替代 MUSA 设备选择。
8.3 Ray Job 一直等待资源
使用 ray status 检查 actor 和 rollout 所需的 GPU 是否可见。确认没有其他任务占用设备,并检查所有节点的 MUSA 环境是否一致。
8.4 Ray worker 找不到 Miles 或 Titan 模块
检查 RUNTIME_PYTHONPATH,确认 MUSA_TITAN_PATH 位于首位,并 确认 MILES_PATH、MEGATRON_PATH 在 Ray Job 内仍指向有效目录。runtime_env.yaml 会在提交任务前展开这些路径。
8.5 SGLang engine 启动失败
先查看第一个失败 worker 的原始异常,再向前检查 MUSA 算子、模型路径、attention backend 和显存配置。scheduler is dead、Ray actor died 等通常是后续级联错误,不能直接作为根因。
8.6 多节点训练卡在权重同步
确认所有节点使用同一套软件和模型配置,节点间 Gloo/MCCL 可通信,TCP 23000 起的端口未被防火墙拦截,并检查权重同步开始前是否存在 OOM 或 actor 退出。
8.7 可以使用 Miles main 或其他版本吗
当前训练范围只覆盖 Miles v0.1.0。Miles main、后续发布版本和开发快照的源码布局或内部接口可能变化,不在 v2.2.0 支持范围内。

