MT-Slime 后训练操作指南:Qwen3-8B
本文介绍如何在单机 8 卡环境中,使用 Slime 对 Qwen3-8B 进行 GRPO 后训练。该方案将训练与推理采样分离,便于独立管理显存和计算资源。完成本文操作后,你可以启动训练任务,并通过日志和 Ray Dashboard 监控训练状态。
示例将 8 张 GPU 分成两组:4 张卡用于 Megatron actor 训练,另外 4 张卡用于 SGLang 推理采样。
完整流程如下:
准备容器与目录
↓
准备训练集和验证集(Parquet)
↓
准备 Hugging Face 模型
↓
将 HF 权重转换为 Megatron/MCore 权重
↓
检查训练脚本、hostfile 和 runtime_env.yaml
↓
启动 Ray Head
↓
提交训练任务并监控日志
开始前需要明确两套模型权重的用途:
| 权重格式 | 示例路径 | 用途 |
|---|---|---|
| Hugging Face | /data/models/Qwen3-8B | 初始化 SGLang,提供分词器和模型配置 |
| Megatron/MCore | /data/LLMs/MCORE/Qwen3-8B_slime | 供 actor 和参考模型在训练侧加载 |
除 Docker 命令外,本文命令默认在 slime_rl 容器中运行。创建、启动和进入容器的 Docker 命令在宿主机运行。
1. 环境 准备
1.1 目录和文件约定
训练前通常需要准备以下路径。后续脚本直接引用这些绝对路径,因此目录位置发生变化时,训练脚本和 runtime_env.yaml 也必须同步修改。
| 路径 | 内容 |
|---|---|
/home/slime | Slime 源码和训练脚本 |
/home/Megatron-LM | Megatron 代码 |
/home/megatron-lm-musa-patch | MUSA 兼容补丁 |
/data/models/data | Parquet 格式训练集和验证集 |
/data/models/Qwen3-8B | Hugging Face 格式模型 |
/data/LLMs/MCORE/Qwen3-8B_slime | 转换后的 MCore 模型 |
/tmp/Qwen3-8B_slime | 示例中的训练检查点输出目录 |
/home/slime/musa_example/qwen_32b_sherry/logs | Ray 任务日志目录 |
/home/slime/musa_example/qwen_32b_sherry/qwen3-8b_tensorboard | TensorBoard 日志目录 |
1.2 容器创建
以下命令在 Docker 宿主机 运行。容器使用 host 网络模式,并将共享内存设置为 500 GB,以满足 Ray、数据加载器和分布式训练的需要。
创建容器:
docker run -d \
--name slime_rl \
--env MTHREADS_DRIVER_CAPABILITIES=all \
-v /data:/data \
--net host \
--privileged \
--shm-size 500g \
registry.mthreads.com/mcconline/training-suite:v2.1.5 \
sleep inf
启动容器:
docker start slime_rl
进入容器:
docker exec -it slime_rl /bin/bash
进入容器后,检查 Slime、Megatron 和 MUSA 补丁是否存在:
ls -ld /home/slime /home/Megatron-LM /home/megatron-lm-musa-patch
mthreads-gmi
重要
当前命令只将宿主机 /data 挂载到容器 /data。如果模型和数据位于其他宿主机目录,请在创建容器时增加对应的 -v 参数,并确认后续命令使用容器内路径。