MT-Slime 后训练操作指南:Qwen3-8B
本文介绍如何在单机 8 卡环境中,使用 Slime 对 Qwen3-8B 进行 GRPO 后训练。该方案将训练与推理采样分离,便于独立管理显存和计算资源。完成本文操作后,你可以启动训练任务,并通过日志和 Ray Dashboard 监控训练状态。
示例将 8 张 GPU 分成两组:4 张卡用于 Megatron actor 训练,另外 4 张卡用于 SGLang 推理采样。
完整流程如下:
准备容器与目录
↓
准备训练集和验证集(Parquet)
↓
准备 Hugging Face 模型
↓
将 HF 权重转换为 Megatron/MCore 权重
↓
检查训练脚本、hostfile 和 runtime_env.yaml
↓
启动 Ray Head
↓
提交训练任务并监控日志
开始前需要明确两套模型权重的用途:
| 权重格式 | 示例路径 | 用途 |
|---|---|---|
| Hugging Face | /data/models/Qwen3-8B | 初始化 SGLang,提供分词器和模型配置 |
| Megatron/MCore | /data/LLMs/MCORE/Qwen3-8B_slime | 供 actor 和参考模型在训练侧加载 |
除 Docker 命令外,本文命令默认在 slime_rl 容器中运行。创建、启动和进入容器的 Docker 命令在宿主机运行。
1. 环境准备
1.1 目录和文件约定
训练前通常需要准备以下路径。表中的 /path/to/... 是占位符,请替换为当前容器中的实际路径;后续脚本和 runtime_env.yaml 必须使用同一组路径。
| 路径 | 内容 |
|---|---|
/path/to/slime | Slime 源码和训练脚本 |
/path/to/Megatron-LM | Megatron 代码 |
/path/to/megatron-lm-musa-patch | MUSA 兼容补丁 |
/data/models/data | Parquet 格式训练集和验证集 |
/data/models/Qwen3-8B | Hugging Face 格式模型 |
/data/LLMs/MCORE/Qwen3-8B_slime | 转换后的 MCore 模型 |
/tmp/Qwen3-8B_slime | 示例中的训练检查点输出目录 |
/data/slime/qwen3-8b-grpo/logs | Ray 任务日志目录 |
/data/slime/qwen3-8b-grpo/qwen3-8b_tensorboard | TensorBoard 日志目录 |
1.2 容器创建
以下命令在 Docker 宿主机 运行。容器使用 host 网络模式,并将共享内存设置为 500 GB,以满足 Ray、数据加载器和分布式训练的需要。
创建容器:
docker run -d \
--name slime_rl \
--env MTHREADS_DRIVER_CAPABILITIES=all \
-v /data:/data \
--net host \
--privileged \
--shm-size 500g \
registry.mthreads.com/mcconline/training-suite:v2.2.0 \
sleep inf
启动容器:
docker start slime_rl
进入容器:
docker exec -it slime_rl /bin/bash
进入容器后,检查 Slime、Megatron 和 MUSA 补丁是否存在:
ls -ld /path/to/slime /path/to/Megatron-LM /path/to/megatron-lm-musa-patch
mthreads-gmi
当前命令只将宿主机 /data 挂载到容器 /data。如果模型和数据位于其他宿主机目录,请在创建容器时增加对应的 -v 参数,并确认后续命令使用容器内路径。
2. 准备训练数据
Slime 在推理采样阶段从 Parquet 文件读取 prompt 和奖励计算字段。本示例使用以下三个文件,并将其统一放在 /data/models/data:
| 文件 | 说明 | 用途 |
|---|---|---|
amt_math17k_d_qweninstruct.parquet | 数学推理训练数据(约 1.7 万条) | 训练集 |
aime_2024.parquet | AIME 2024 竞赛题 | 验证集 |
aime_2025.parquet | AIME 2025 竞赛题 | 验证集 |
mkdir -p /data/models/data
数据可以来自 BytedTsinghua-SIA/DAPO-Math-17k 和 a-m-team/AM-Thinking-v1-RL-Dataset,处理后需要得到 Slime 能读取的 Parquet 文件。
下面以 a-m-team/AM-Thinking-v1-RL-Dataset 中的部分数据为例介绍预处理过程。如果直接使用已经处理好的三个文件,可跳到 2.3 使用已处理数据。