RL训练:Qwen3-30B-A3B
1. 演练目标与架构
本节基于四机32卡MTT S5000完成Qwen3-30B-A3B-Instruct模型的强化学习(RL)训练闭环,使用GRPO算法,基于VeRL强化学习框架,和Megatron训练框架、SGLang推理框架。
2. 前置条件
2.1 硬件环境
本例使用四台GPU服务器,所下所示。
| 节点 | IP地址 | GPU数量 | 角色 |
|---|---|---|---|
| node125 | 10.10.142.125 | 8×MTT S5000 | Master/Head |
| node71 | 10.10.134.71 | 8×MTT S5000 | Worker |
| node116 | 10.10.142.116 | 8×MTT S5000 | Worker |
| node119 | 10.10.142.119 | 8×MTT S5000 | Worker |
2.2 共享存储
四机通过NFS共享 /data/datapool/ 目录,包含:
- VeRL代码:
/data/datapool/verl - 模型:
/data/datapool/models/Qwen3-30B-A3B-Instruct-2507(HF格式),/data/datapool/models/Qwen3-30B-A3B-Instruct-2507-MCore(MCore格式) - 数据:
/data/datapool/verl/musa_examples/data
3. 环境准备
3.1 四机容器创建
在四台宿主机上分别执行:
# 创建容器
sudo docker create \
--privileged \
--env MTHREADS_VISIBLE_DEVICES=all \
--net host \
-v /data/:/data/ \
--name train-rl \
registry.mthreads.com/mcconline/training-suite:v2.1.6 \
sleep infinity
# 启动容器
sudo docker start train-rl
# 启动SSH服务
docker exec train-rl service ssh restart
四机容器需要配置好ssh免密登录,这里不再赘述。
3.2 创建四机hostfile
在 node125 容器内创建:
cat > /data/datapool/verl/musa_examples/hostfile << 'EOF'
10.10.142.125 slots=8
10.10.134.71 slots=8
10.10.142.116 slots=8
10.10.142.119 slots=8
EOF
4. 准备训练 数据
训练数据已在 /data/datapool/verl/musa_examples/data/ 目录中预置:
| 文件 | 说明 | 用途 |
|---|---|---|
amt_math17k_d_qweninstruct.parquet | 数学推理训练数据(17K条) | 训练集 |
aime_2024.parquet | AIME 2024竞赛题 | 验证集 |
aime_2025.parquet | AIME 2025竞赛题 | 验证集 |
# 检查数据文件
ls -la /data/datapool/verl/musa_examples/data/
5. 模型准备
5.1 下载Qwen3-30B-A3B模型
# 安装modelscope
pip install modelscope
# 下载模型(如需要)
modelscope download --model Qwen/Qwen3-30B-A3B-Instruct --local_dir /data/datapool/models/Qwen3-30B-A3B-Instruct-2507
5.2 模型格式转换(HF → MCore)
Qwen3-30B-A3B需要转换为Megatron MCore格式才能训练。
创建转换脚本:
cat > /data/datapool/verl/musa_examples/convert_qwen3_30b_to_mcore.sh << 'EOF'
#!/bin/bash
set -x
# 设置路径
export MEGATRON_PATH=/home/Megatron-LM
export VERL_PATH=/data/datapool/verl
export PYTHONPATH=${MEGATRON_PATH}:${VERL_PATH}:$PYTHONPATH
# 模型路径
HF_MODEL_PATH='/data/datapool/models/Qwen3-30B-A3B-Instruct-2507'
DIST_CKPT_PATH='/data/datapool/models/Qwen3-30B-A3B-Instruct-2507-MCore'
# 创建输出目录
mkdir -p $DIST_CKPT_PATH
# 执行转换
python -u /data/datapool/verl/scripts/converter_hf_to_mcore.py \
--hf_model_path $HF_MODEL_PATH \
--output_path $DIST_CKPT_PATH
echo "转换完成!MCore格式模型保存在: $DIST_CKPT_PATH"
EOF
chmod +x /data/datapool/verl/musa_examples/convert_qwen3_30b_to_mcore.sh
执行转换:
cd /data/datapool/verl/musa_examples
bash convert_qwen3_30b_to_mcore.sh
转换完成后验证:
ls -lh /data/datapool/models/Qwen3-30B-A3B-Instruct-2507-MCore/
# 应看到 ~57GB 的分片文件(2个shard)