MT-Slime 后训练操作指南:Qwen3-8B
本文介绍如何在单机 8 卡环境中,使用 Slime 对 Qwen3-8B 进行 GRPO 后训练。该方案将训练与推理采样分离,便于独立管理显存和计算资源。完成本文操作后,你可以启动训练任务,并通过日志和 Ray Dashboard 监控训练状态。
示例将 8 张 GPU 分成两组:4 张卡用于 Megatron actor 训练,另外 4 张卡用于 SGLang 推理采样。
完整流程如下:
准备容器与目录
↓
准备训练集和验证集(Parquet)
↓
准备 Hugging Face 模型
↓
将 HF 权重转换为 Megatron/MCore 权重
↓
检查训练脚本、hostfile 和 runtime_env.yaml
↓
启动 Ray Head
↓
提交训练任务并监控日志
开始前需要明确两套模型权重的用途:
| 权重格式 | 示例路径 | 用途 |
|---|---|---|
| Hugging Face | /data/models/Qwen3-8B | 初始化 SGLang,提供分词器和模型配置 |
| Megatron/MCore | /data/LLMs/MCORE/Qwen3-8B_slime | 供 actor 和参考模型在训练侧加载 |
除 Docker 命令外,本文命令默认在 slime_rl 容器中运行。创建、启动和进入容器的 Docker 命令在宿主机运行。
1. 环境准备
1.1 目录和文件约定
训练前通常需要准备以下路径。后续脚本直接引用这些绝对路径,因此目录位置发生变化时,训练脚本和 runtime_env.yaml 也必须同步修改。
| 路径 | 内容 |
|---|---|
/home/slime | Slime 源码和训练脚本 |
/home/Megatron-LM | Megatron 代码 |
/home/megatron-lm-musa-patch | MUSA 兼容补丁 |
/data/models/data | Parquet 格式训练集和验证集 |
/data/models/Qwen3-8B | Hugging Face 格式模型 |
/data/LLMs/MCORE/Qwen3-8B_slime | 转换后的 MCore 模型 |
/tmp/Qwen3-8B_slime | 示例中的训练检查点输出目录 |
/home/slime/musa_example/qwen_32b_sherry/logs | Ray 任务日志目录 |
/home/slime/musa_example/qwen_32b_sherry/qwen3-8b_tensorboard | TensorBoard 日志目录 |
1.2 容器创建
以下命令在 Docker 宿主机 运行。容器使用 host 网络模式,并将共享内存设置为 500 GB,以满足 Ray、数据加载器和分布式训练的需要。
创建容器:
docker run -d \
--name slime_rl \
--env MTHREADS_DRIVER_CAPABILITIES=all \
-v /data:/data \
--net host \
--privileged \
--shm-size 500g \
registry.mthreads.com/mcconline/training-suite:v2.1.7 \
sleep inf
启动容器:
docker start slime_rl
进入容器:
docker exec -it slime_rl /bin/bash
进入容器后,检查 Slime、Megatron 和 MUSA 补丁是否存在:
ls -ld /home/slime /home/Megatron-LM /home/megatron-lm-musa-patch
mthreads-gmi
当前命令只将宿主机 /data 挂载到容器 /data。如果模型和数据位于其他宿主机目录,请在创建容器时增加对应的 -v 参数,并确认后续命令使用容器内路径。
2. 准备训练数据
Slime 在推理采样阶段从 Parquet 文件读取 prompt 和奖励计算字段。本示例使用以下三个文件,并将其统一放在 /data/models/data:
| 文件 | 说明 | 用途 |
|---|---|---|
amt_math17k_d_qweninstruct.parquet | 数学推理训练数据(约 1.7 万条) | 训练集 |
aime_2024.parquet | AIME 2024 竞赛题 | 验证集 |
aime_2025.parquet | AIME 2025 竞赛题 | 验证集 |
mkdir -p /data/models/data
数据可以来自 BytedTsinghua-SIA/DAPO-Math-17k 和 a-m-team/AM-Thinking-v1-RL-Dataset,处理后需要得到 Slime 能读取的 Parquet 文件。
下面以 a-m-team/AM-Thinking-v1-RL-Dataset 中的部分数据为例介绍预处理过程。如果直接使用已经 处理好的三个文件,可跳到 2.3 使用已处理数据。
2.1 数据集下载
AM-Thinking-v1-RL-Dataset 页面提供了原始数据文件。本示例使用其中的 math.parquet。
下载后,将文件放到容器可以访问的目录,并记录其绝对路径。后续运行预处理脚本时,通过 --input 指向该文件。
2.2 数据集预处理
下面的脚本只保留 math.parquet 中 data_source=20250416_amc_aime_website 的记录,然后按固定随机种子打乱,并切分训练集与测试集。
将以下内容保存为 select_aime_data.py:
#!/usr/bin/env python3
"""Extract 20250416_amc_aime_website rows from math.parquet and split into train/test."""
from __future__ import annotations
import argparse
from pathlib import Path
import pandas as pd
DEFAULT_SOURCE = "20250416_amc_aime_website"
def parse_args() -> argparse.Namespace:
parser = argparse.ArgumentParser(
description=(
"Extract rows with data_source=20250416_amc_aime_website from math.parquet "
"and write aime_train.parquet / aime_test.parquet."
)
)
parser.add_argument(
"--input",
default="math.parquet", # 原始数据路径
help="Input parquet path. Default: math.parquet",
)
parser.add_argument(
"--train-output",
default="aime_train.parquet", # 训练集输出路径
help="Train parquet path. Default: aime_train.parquet",
)
parser.add_argument(
"--test-output",
default="aime_test.parquet", # 测试集输出路径
help="Test parquet path. Default: aime_test.parquet",
)
parser.add_argument(
"--test-size",
type=int,
default=60, # 默认选取60条数据作为测试集
help="Number of rows in aime_test.parquet. Default: 60",
)
parser.add_argument(
"--seed",
type=int,
default=42,
help="Random seed for the train/test split. Default: 42",
)
parser.add_argument(
"--source",
default=DEFAULT_SOURCE,
help=f"data_source value to keep. Default: {DEFAULT_SOURCE}",
)
return parser.parse_args()
def set_split(extra_info: object, split: str) -> dict:
info = dict(extra_info) if isinstance(extra_info, dict) else {}
info["split"] = split
if "index" not in info:
info["index"] = 0
return info
def main() -> None:
args = parse_args()
if args.test_size < 0:
raise ValueError(f"--test-size must be >= 0, got {args.test_size}")
input_path = Path(args.input)
train_path = Path(args.train_output)
test_path = Path(args.test_output)
df = pd.read_parquet(input_path)
if "data_source" not in df.columns:
raise ValueError(f"Column 'data_source' not found in {input_path}")
selected = df[df["data_source"] == args.source].copy()
n_selected = len(selected)
if n_selected == 0:
raise ValueError(f"No rows with data_source={args.source!r} in {input_path}")
if args.test_size > n_selected:
raise ValueError(
f"--test-size={args.test_size} exceeds selected rows {n_selected}"
)
shuffled = selected.sample(frac=1.0, random_state=args.seed).reset_index(drop=True)
test_df = shuffled.iloc[: args.test_size].copy()
train_df = shuffled.iloc[args.test_size :].copy()
if "extra_info" in test_df.columns:
test_df["extra_info"] = test_df["extra_info"].map(lambda x: set_split(x, "test"))
train_df["extra_info"] = train_df["extra_info"].map(lambda x: set_split(x, "train"))
train_path.parent.mkdir(parents=True, exist_ok=True)
test_path.parent.mkdir(parents=True, exist_ok=True)
train_df.to_parquet(train_path, index=False)
test_df.to_parquet(test_path, index=False)
print(f"Input: {input_path}")
print(f"Source: {args.source}")
print(f"Selected rows: {n_selected}")
print(f"Seed: {args.seed}")
print(f"Train rows: {len(train_df)} -> {train_path}")
print(f"Test rows: {len(test_df)} -> {test_path}")
if __name__ == "__main__":
main()
配置输入、输出路径后运行:
python select_aime_data.py \
--input <math.parquet_路径> \
--train-output /data/models/data/aime_train.parquet \
--test-output /data/models/data/aime_test.parquet
脚本会生成 aime_train.parquet 和 aime_test.parquet,可分别作为训练集和验证集。
本节预处理脚本生成 aime_train.parquet 和 aime_test.parquet,而默认训练脚本使用以下文件:
amt_math17k_d_qweninstruct.parquet
aime_2024.parquet
aime_2025.parquet
这是两套不同的数据准备路径。如果使用自行切分的 aime_train.parquet 和 aime_test.parquet,请同步修改训练脚本中的 train_files 和 test_files。要保持训练脚本不变,请直接使用下一节提供的已处理数据。
2.3 使用已处理数据
如果不需要自行预处理,请下载已经准备好的数据压缩包。
创建数据目录:
mkdir -p /data/models/data
进入 /data 目录并下载数据:
cd /data
wget https://mt-ai-infra.tos-cn-beijing.volces.com/AIME_data.tgz
将数据解压到 /data/models/data:
tar -xzf AIME_data.tgz -C /data/models/data --strip-components=1
解压完成后核对文件名和 Parquet 字段:
ls -lh /data/models/data
python3 - <<'PY'
import pandas as pd
path = "/data/models/data/amt_math17k_d_qweninstruct.parquet"
df = pd.read_parquet(path)
print(df.columns.tolist())
print(df.head(1).to_dict(orient="records"))
PY
训练脚本使用 --input-key prompt 和 --label-key reward_model,因此训练文件中应包含对应字段或兼容的数据结构。