跳到主要内容

使用 MT-ms-swift 执行模型训练

本文以 training-musa-adaptor/examples/ms_swift 中的脚本为入口,说明如何准备依赖、模型、数据和运行参数。以下操作在训练容器内执行。

1. 检查基础环境​

以下命令需要以容器内 root 用户执行;普通用户需要为命令添加 sudo。

mthreads-gmi

python3 - <<'PY'
import torch
import torch_musa

print("Python device count:", torch.musa.device_count())
print("MUSA available:", torch.musa.is_available())
print("torch:", torch.__version__)
print("torch_musa:", torch_musa.__version__)
PY

确认 8 张 MTT S5000 可见、torch.musa.is_available() 为 True,并避免与其他训练任务共用同一组设备。

2. 安装训练依赖​

python3 -m pip install 'ms-swift[megatron]==4.5.3'
python3 -m pip install transformers==5.16.1
python3 -m pip install flash-linear-attention==0.5.2
python3 -m pip uninstall -y nvidia-modelopt

视频 SFT 还需要 CPU TorchCodec 0.8.1 和 FFmpeg 共享库。已有可用 FFmpeg 时可以跳过系统包安装。

apt-get update
apt-get -y --no-remove --no-install-recommends --fix-broken \
install ffmpeg ocl-icd-libopencl1 libglapi-mesa libxshmfence1 libgl1

python3 -m pip install --no-deps --only-binary=:all: \
--index-url https://pypi.org/simple 'torchcodec==0.8.1'
镜像边界

不要将上述依赖安装命令直接用于已经集成 ms-swift 4.7.0 的 Qwen3.5-4B 公网专用镜像。专用镜像的依赖已经与该镜像内的 PyTorch、MATE 和 torch_musa 组合完成匹配。

3. 准备代码与目录​

v2.2.0 镜像中的集成脚本位于 /home/training-musa-adaptor。使用以下目录:

export ADAPTOR_ROOT=/home/training-musa-adaptor
export SCRIPT_DIR="$ADAPTOR_ROOT/examples/ms_swift"
export MODEL_DIR=/data/models/Qwen3.5-9B
export DATASET_ROOT=/data/datasets/ms_swift
export RUN_DIR=/data/runs/qwen35-9b-sft-001

cd "$ADAPTOR_ROOT"
ls "$SCRIPT_DIR"

模型目录必须包含完整的 Hugging Face 权重、config.json、tokenizer 或 processor 配置、权重索引以及全部分片。切换模型时同时修改 MODEL_DIR 和 RUN_DIR。

4. 选择训练脚本​

模型视频 SFT文本 CPT文本 DPOLoRA SFT后端
Qwen3.5-9Brun_qwen3_5_9b_full_sft.shrun_qwen3_5_9b_continued_pretrain.shrun_qwen3_5_9b_dpo.shrun_qwen3_5_9b_lora_sft.shTrainer + ZeRO-3
Qwen3-VL-32B-Instructrun_qwen3_vl_32b_full_sft.shrun_qwen3_vl_32b_continued_pretrain.shrun_qwen3_vl_32b_dpo.sh未提供Megatron
Qwen3.5-35B-A3Brun_qwen3_5_35b_full_sft.shrun_qwen3_5_35b_continued_pretrain.shrun_qwen3_5_35b_dpo.sh未提供Megatron
Qwen3.8-27Brun_qwen3_8_27b_full_sft.shrun_qwen3_8_27b_continued_pretrain.shrun_qwen3_8_27b_dpo.shrun_qwen3_8_27b_lora_sft.shMegatron

Qwen3.8-27B 脚本已经设置 model_type=qwen3_5 和 template=qwen3_8,不需要手动修改。

5. 准备数据​

5.1 视频 SFT​

视频 SFT 使用 NeXTVideo 标注和视频文件。数据目录至少包含:

$DATASET_ROOT/
├── train.jsonl
└── NExTVideo/

train.jsonl 每行需包含 messages 和一个 <video> 占位符。运行脚本时,prepare_dataset.py 会将相对视频路径转换为绝对路径,并生成 Swift 所需的 videos 字段。CHECK_ONLY=1 和正式运行都会使用 CPU TorchCodec 检查首帧和中间帧。

根据训练数据规模预留视频压缩包、解压文件和 checkpoint 空间。NeXTVideo 完整视频包约 24.3 GB,同时需要为解压后的视频保留空间。

5.2 文本 CPT 和 DPO​

CPT/DPO 默认通过本地 Parquet 文件准备 256 条训练样本,不访问数据集 Hub。下载固定版本文件:

mkdir -p "$DATASET_ROOT/raw" "$DATASET_ROOT/raw_hf2/data"

curl -fL --retry 3 \
'https://huggingface.co/datasets/Salesforce/wikitext/resolve/b08601e04326c79dfdd32d625aee71d232d685c3/wikitext-2-raw-v1/train-00000-of-00001.parquet' \
-o "$DATASET_ROOT/raw/wikitext2-train.parquet"

curl -fL --retry 3 \
'https://huggingface.co/datasets/trl-lib/ultrafeedback_binarized/resolve/47124cb5778f5d50de1c7676a412828f3ea7c555/data/train-00000-of-00001.parquet' \
-o "$DATASET_ROOT/raw_hf2/data/train-00000-of-00001.parquet"

DATA_LIMIT 可以调整文本样本数。DPO 转换只保留合法且内容不同的 chosen/rejected 对,实际取样数量可能与输入条数不同。

6. 运行前检查​

先执行数据检查。视频 SFT 会额外执行 CPU 视频解码检查。

cd "$ADAPTOR_ROOT"
SCRIPT="$SCRIPT_DIR/run_qwen3_5_9b_full_sft.sh"

CHECK_ONLY=1 bash "$SCRIPT"

再执行 dry-run,检查参数、路径和最终命令,不加载模型权重。

DRY_RUN=1 bash "$SCRIPT"

CHECK_ONLY 和 DRY_RUN 不能同时设置,只接受 0 或 1。

7. 启动训练​

Qwen3.5-9B 视频 SFT 示例:

cd "$ADAPTOR_ROOT"
MODEL_DIR=/data/models/Qwen3.5-9B \
DATASET_ROOT=/data/datasets/ms_swift \
RUN_DIR=/data/runs/qwen35-9b-sft-001 \
bash "$SCRIPT_DIR/run_qwen3_5_9b_full_sft.sh"

Qwen3.5-35B-A3B CPT 单步冒烟测试:

cd "$ADAPTOR_ROOT"
MODEL_DIR=/data/models/Qwen3.5-35B-A3B \
DATASET_ROOT=/data/datasets/ms_swift \
RUN_DIR=/data/runs/qwen35-35b-cpt-smoke \
MAX_STEPS=1 \
MASTER_PORT=29673 \
bash "$SCRIPT_DIR/run_qwen3_5_35b_continued_pretrain.sh" \
--logging_steps 1

训练脚本会启用 training-musa-adaptor 自动加载,并设置 MUSA 设备、训练缓存和日志目录。默认使用 MUSA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7,同一组设备上的任务应顺序运行。

8. 并行与 batch 参数​

参数默认值或用途
MAX_STEPS30;正整数限制训练步数,-1 表示按 epoch
NUM_TRAIN_EPOCHS9B 文本 CPT/DPO 默认为 3,其余默认为 1
MICRO_BATCH_SIZE1
MAX_LENGTH4096
TP / PPMegatron 默认 1 / 8
GLOBAL_BATCH_SIZE8
OPTIMIZER_OFFLOAD_FRACTIONMegatron 默认 0.5;VL 视频 SFT 为 0.25,VL DPO 为 0.75
REF_MODEL_DIRDPO reference model,默认与 MODEL_DIR 相同
BETA / RPO_ALPHADPO 默认 0.1 / 0.1

Megatron 脚本要求 NPROC_PER_NODE 能被 TP × PP 整除,并要求全局 batch 与 micro batch、DP 组合匹配。修改并行参数后先执行 DRY_RUN=1。

9. 日志、checkpoint 与检查​

训练日志写入 $RUN_DIR/train.log,checkpoint 写入 $RUN_DIR/checkpoints/。Trainer 默认保存 Hugging Face 格式,Megatron 默认保存 MCore 分片。

tail -n 100 "$RUN_DIR/train.log"
find "$RUN_DIR/checkpoints" -maxdepth 3 -type f | head -40

35B CPT 脚本默认 SAVE_ONLY_MODEL=true,不保存 optimizer 和 RNG。需要可恢复训练时显式设置 SAVE_ONLY_MODEL=false,并完成恢复验收。

10. 常见问题​

10.1 启动后数分钟没有 step 输出​

Megatron 各 PP stage 可能正在依次编译 Flash Linear Attention 和 MATE 前向、反向 kernel。应同时检查进程状态、编译日志和调用栈,不能仅凭数分钟没有 step 输出判断任务挂起。

10.2 路径检查通过但模型加载失败​

CHECK_ONLY 和 DRY_RUN 不加载模型,也不验证模板编码及前反向。完成检查后,使用 MAX_STEPS=1 运行一次真实冒烟测试。

10.3 显存不足​

降低 GLOBAL_BATCH_SIZE 或 MAX_LENGTH,并按模型调整 OPTIMIZER_OFFLOAD_FRACTION。视频超长输入还会增加解码和视觉编码显存。

10.4 多任务运行互相影响​

每个任务使用独立 RUN_DIR 和 MASTER_PORT。默认 8 张卡被全部占用时,不要同时启动其他训练任务。