跳到主要内容

Qwen3.8-27B 全流程训练

本文介绍如何使用 TrainingSuite v2.2.0 镜像完成 Qwen3.8-27B 的全流程训练,包括全参数 CPT、全参数视频问答 SFT、全参数 DPO 和 LoRA SFT。

适用模型

本文参数和脚本仅针对 Qwen3.8-27B 验证。该模型为 64 层 dense hybrid 结构,不要直接将相同张量并行、流水线并行或学习率套用到其他模型。

1. 训练目标与架构​

四个任务默认各执行 30 个优化器更新步,使用 BF16、最大序列长度 4096。语言模型 attention 入口为 FlashAttention,ViT 使用 SDPA。

参数全参数LoRA
设备与后端8 卡,ms-swift Megatron,TP=1、PP=88 卡,ms-swift Megatron,TP=1、PP=8
单卡 batch11
有效全局 batch88
学习率1e-51e-4
LoRA不适用rank 8、alpha 32、dropout 0.05、all-linear

脚本按 GLOBAL_BATCH_SIZE=8 自动推导梯度累积。LoRA 仅训练语言模型线性层,ViT 与 aligner 保持冻结。Megatron 任务启用 optimizer CPU offload,宿主机需要预留充足内存。

2. 环境基线​

组件版本
TrainingSuite 镜像registry.mthreads.com/mcconline/training-suite:v2.2.0
Linux Driver3.3.10
MUSA SDK4.3.10
Python3.12
torch / torch_musa / torchvision / torchaudio2.9.0.post1 / 2.9.0.post1 / 0.22.1 / 2.7.1
GPU8 × MTT S5000,每卡 80 GB
ms-swift4.5.3
training-musa-adaptor2.2.0
Transformers5.16.1
flash-linear-attention0.5.2
datasets / NumPy4.8.4 / 1.26.1
pyarrow21.0.0
torchcodec0.8.1
MATE / FlashAttention / TileLang MUSA0.2.8.post2 / 2.8.3.post4 / 0.1.12+musa.4

进入容器后先核对版本:

mthreads-gmi
python3 -c "import torch, torch_musa, transformers, datasets, pyarrow; print(torch.__version__, torch_musa.__version__, transformers.__version__, datasets.__version__, pyarrow.__version__)"
python3 -c "from torchcodec.decoders import VideoDecoder; print('torchcodec OK')"

3. 代码、模型与数据​

3.1 脚本位置​

v2.2.0 镜像中的训练脚本位于:

/home/training-musa-adaptor/examples/ms_swift

本文使用以下入口:

run_qwen3_8_27b_continued_pretrain.sh
run_qwen3_8_27b_full_sft.sh
run_qwen3_8_27b_dpo.sh
run_qwen3_8_27b_lora_sft.sh

确认脚本存在:

ls -l /home/training-musa-adaptor/examples/ms_swift/run_qwen3_8_27b_*.sh

3.2 模型权重​

模型使用 Qwen/Qwen3.8-27B,约 55 GB。下载到 /data/models/Qwen3.8-27B:

mkdir -p /data/models
modelscope download --model Qwen/Qwen3.8-27B \
--local_dir /data/models/Qwen3.8-27B

如果使用 Hugging Face:

HF_ENDPOINT=https://hf-mirror.com hf download Qwen/Qwen3.8-27B \
--local-dir /data/models/Qwen3.8-27B

确认目录包含 config.json、model.safetensors.index.json 和全部分片。脚本会校验 model_type、64 层结构及权重分片完整性。每个全参数 checkpoint 都是完整的 MCore 分片集合,建议 /data/outputs 至少预留 250 GB。

3.3 数据集​

四个任务共用一个数据根目录:

export DATASET_ROOT=/data/datasets/qwen38_27b
mkdir -p "$DATASET_ROOT/mvbench_raw" "$DATASET_ROOT/MVBench" \
"$DATASET_ROOT/raw" "$DATASET_ROOT/raw_hf2/data"

下载视频问答数据:

curl -fL --retry 3 \
'https://modelscope.cn/datasets/OpenGVLab/MVBench/resolve/master/video/vlnqa.zip' \
-o "$DATASET_ROOT/mvbench_raw/vlnqa.zip"

curl -fL --retry 3 \
'https://modelscope.cn/datasets/OpenGVLab/MVBench/resolve/master/json/egocentric_navigation.json' \
-o "$DATASET_ROOT/mvbench_raw/egocentric_navigation.json"

python3 -m zipfile -e "$DATASET_ROOT/mvbench_raw/vlnqa.zip" "$DATASET_ROOT/MVBench/"

vlnqa.zip 应为 40,331,555 字节,解压后得到 200 个 mp4。将标注转换为训练脚本要求的 JSONL:

python3 - <<'PY'
import json
import os
from pathlib import Path

root = Path(os.environ["DATASET_ROOT"]).resolve()
source = root / "mvbench_raw/egocentric_navigation.json"
items = json.loads(source.read_text(encoding="utf-8"))
rows = []
for item in items:
video = Path("MVBench/vlnqa") / item["video"]
if not (root / video).is_file():
raise FileNotFoundError(root / video)
options = "\n".join(
f"{chr(ord('A') + i)}. {choice}"
for i, choice in enumerate(item["candidates"])
)
rows.append({
"video": video.as_posix(),
"messages": [
{
"role": "user",
"content": f"<video>{item['question']}\nOptions:\n{options}",
},
{"role": "assistant", "content": item["answer"]},
],
})

output = root / "train.jsonl"
with output.open("x", encoding="utf-8") as handle:
for row in rows:
handle.write(json.dumps(row, ensure_ascii=False) + "\n")
print(f"Prepared {len(rows)} samples: {output}")
PY

下载文本 CPT 和 DPO 数据:

curl -fL --retry 3 \
'https://huggingface.co/datasets/Salesforce/wikitext/resolve/b08601e04326c79dfdd32d625aee71d232d685c3/wikitext-2-raw-v1/train-00000-of-00001.parquet' \
-o "$DATASET_ROOT/raw/wikitext2-train.parquet"

curl -fL --retry 3 \
'https://huggingface.co/datasets/trl-lib/ultrafeedback_binarized/resolve/47124cb5778f5d50de1c7676a412828f3ea7c555/data/train-00000-of-00001.parquet' \
-o "$DATASET_ROOT/raw_hf2/data/train-00000-of-00001.parquet"

Hugging Face 直连超时时,可以将域名替换为 hf-mirror.com。

4. 创建训练容器​

在宿主机执行:

docker run -dit --name ms_qwen38_27b \
--runtime=mthreads --privileged --network=host \
--shm-size=80g --ulimit memlock=-1 \
-e MTHREADS_VISIBLE_DEVICES=all \
-e MTHREADS_DRIVER_CAPABILITIES=compute,utility \
-e PYTHONDONTWRITEBYTECODE=1 \
-v /data:/data \
registry.mthreads.com/mcconline/training-suite:v2.2.0 \
/bin/bash

启动并进入:

docker start ms_qwen38_27b
docker exec -it ms_qwen38_27b bash

模型、数据集和输出均位于 /data 下,容器重建后仍可复用。

5. 安装与检查依赖​

如果镜像已经集成对应版本,先确认后跳过重复安装;如果缺少依赖,在容器内执行:

python3 -m pip install 'ms-swift[megatron]==4.5.3'
python3 -m pip install transformers==5.16.1
python3 -m pip install flash-linear-attention==0.5.2
python3 -m pip install pyarrow==21.0.0

apt-get update
apt-get -y --no-remove --no-install-recommends --fix-broken \
install ffmpeg ocl-icd-libopencl1 libglapi-mesa libxshmfence1 libgl1

python3 -m pip install --no-deps --only-binary=:all: \
--index-url https://pypi.org/simple torchcodec==0.8.1

不要给 apt 命令添加 --path-exclude。FFmpeg 依赖库被排除后,torchcodec 将无法加载。

检查核心依赖:

python3 -c "import swift, torch, torch_musa, transformers; print(swift.__version__, torch.__version__, torch_musa.__version__, transformers.__version__)"
python3 -c "from torchcodec.decoders import VideoDecoder; print('torchcodec OK')"

6. 启动任务​

在同一容器终端中设置公共变量:

cd /home/training-musa-adaptor
export MODEL_DIR=/data/models/Qwen3.8-27B
export DATASET_ROOT=/data/datasets/qwen38_27b

首次运行建议先执行预检和单步训练:

DRY_RUN=1 RUN_DIR=/data/outputs/qwen38_27b_dryrun \
bash examples/ms_swift/run_qwen3_8_27b_full_sft.sh

MAX_STEPS=1 RUN_DIR=/data/outputs/qwen38_27b_smoke \
bash examples/ms_swift/run_qwen3_8_27b_full_sft.sh

DRY_RUN=1 检查路径、模型配置和标注;CHECK_ONLY=1 会额外转换数据并执行 CPU 视频解码自检。两者互斥,均不加载模型。

6.1 全参数 CPT​

FULL_CPT_RUN="/data/outputs/qwen38_27b_full_cpt_$(date +%Y%m%d_%H%M%S)"
RUN_DIR="$FULL_CPT_RUN" \
bash examples/ms_swift/run_qwen3_8_27b_continued_pretrain.sh

产物:$FULL_CPT_RUN/checkpoints/,为 MCore distcp 分片;日志:$FULL_CPT_RUN/train.log。

6.2 全参数 SFT​

FULL_SFT_RUN="/data/outputs/qwen38_27b_full_sft_$(date +%Y%m%d_%H%M%S)"
RUN_DIR="$FULL_SFT_RUN" \
bash examples/ms_swift/run_qwen3_8_27b_full_sft.sh

产物:$FULL_SFT_RUN/checkpoints/;日志:$FULL_SFT_RUN/train.log。全参数 SFT 使用 MVBench 视频问答,解冻 LLM、ViT 与 aligner。

6.3 全参数 DPO​

FULL_DPO_RUN="/data/outputs/qwen38_27b_full_dpo_$(date +%Y%m%d_%H%M%S)"
RUN_DIR="$FULL_DPO_RUN" \
bash examples/ms_swift/run_qwen3_8_27b_dpo.sh

DPO 默认将 MODEL_DIR 同时作为 policy 和 reference model。产物:$FULL_DPO_RUN/checkpoints/;日志:$FULL_DPO_RUN/train.log。

6.4 LoRA SFT​

LORA_SFT_RUN="/data/outputs/qwen38_27b_lora_sft_$(date +%Y%m%d_%H%M%S)"
RUN_DIR="$LORA_SFT_RUN" \
bash examples/ms_swift/run_qwen3_8_27b_lora_sft.sh

LoRA 任务只保存 adapter-only 的 MCore distcp 分片,不包含底座权重。后续推理或恢复训练需要保留原模型目录,并另行合并 adapter。

7. 常用环境变量​

变量说明
MAX_STEPS默认 30;正整数限制总步数,-1 表示按 epoch 训练
NUM_TRAIN_EPOCHSMAX_STEPS=-1 时生效,默认 1
MICRO_BATCH_SIZE / MAX_LENGTH默认 1 / 4096
TP / PP / GLOBAL_BATCH_SIZE默认 1 / 8 / 8;必须满足并行和层数整除约束
OPTIMIZER_OFFLOAD_FRACTION默认 0.5;显存不足可提高,例如 0.75
LEARNING_RATE默认 1e-5;LoRA SFT 默认 1e-4
DATA_LIMIT文本 CPT/DPO 默认取 256 条
LORA_RANK / LORA_ALPHA / LORA_DROPOUT默认 8 / 32 / 0.05
REF_MODEL_DIR / BETA / RPO_ALPHADPO 参考模型、beta 和 rpo alpha;REF_MODEL_DIR 默认等于 MODEL_DIR
MASTER_PORTSFT/LoRA 默认 29571,CPT 29572,DPO 29573
DRY_RUN / CHECK_ONLY预检开关,仅接受 0/1,二者互斥

并行配置必须满足:

  • 进程数能被 TP × PP 整除;
  • PP 能整除模型层数 64;
  • GLOBAL_BATCH_SIZE 能被 MICRO_BATCH_SIZE × DP 整除。

8. 结果检查​

每个任务结束后检查:

tail -n 100 "$RUN_DIR/train.log"
find "$RUN_DIR/checkpoints" -maxdepth 3 -type f | sort

确认日志完成目标 step、没有 NaN/Inf 或 MUSA/MCCL 异常,并确认 MCore checkpoint 包含完整的模型、优化器和并行分片。跨任务继续训练前需要完成 checkpoint 格式转换,本文不包含该步骤。

9. 常见问题​

9.1 pyarrow 要求 NumPy 2.0 或更高版本​

保持 NumPy 1.26.1,将 pyarrow 固定为:

python3 -m pip install pyarrow==21.0.0

9.2 下载 Hugging Face 数据超时​

将 URL 域名替换为 hf-mirror.com,或设置:

export HF_ENDPOINT=https://hf-mirror.com

9.3 torchcodec 无法加载 FFmpeg 动态库​

重新安装系统依赖:

apt-get -y --no-remove --no-install-recommends install --reinstall \
ocl-icd-libopencl1 libglapi-mesa libxshmfence1 libgl1
python3 -c "from torchcodec.decoders import VideoDecoder; print('torchcodec OK')"

9.4 反向阶段显存不足​

提高 optimizer CPU offload 比例,例如:

OPTIMIZER_OFFLOAD_FRACTION=0.75 \
RUN_DIR="$FULL_SFT_RUN" \
bash examples/ms_swift/run_qwen3_8_27b_full_sft.sh

同时确认宿主机内存充足。

9.5 启动后长时间没有 step 输出​

冷启动阶段各 PP stage 会顺序编译 FLA 和 MATE 的前向、反向。数分钟没有 step 输出不能单独判定为挂起,应同时检查进程调用栈、编译进度和 step 日志。

9.6 多任务端口冲突​

顺序执行时使用脚本默认端口即可。并行执行时,为不同任务设置不同的 MASTER_PORT 和 MUSA_VISIBLE_DEVICES。

9.7 调整卡数或并行参数​

修改后必须满足本文第 7 节的整除关系。8 卡默认配置已经满足约束,脚本会在启动前拦截不合法组合。

10. 参考资料​