模型微调:基于Llama-Factory
1. 演练目标与架构
本节基于摩尔线程 MTT S5000 GPU 完成 Llama-Factory 微调,覆盖从容器部署到模型产出的全链路操作。
v2.2.0 在镜像内提供 Llama-Factory MUSA 适配代码、配置和启动脚本。当前已验证以下三个模型,并支持 SFT、DPO、QLoRA、Packing 和 Ulysses:
| 模型 | SFT | DPO | QLoRA | Packing | Ulysses |
|---|---|---|---|---|---|
| Qwen2-1.5B-Instruct | 支持 | 支持 | 支持 | 支持 | 支持 |
| Qwen3-8B | 支持 | 支持 | 支持 | 支持 | 支持 |
| Llama3-8B | 支持 | 支持 | 支持 | 支持 | 支持 |
其他模型尚未验证,不属于 v2.2.0 支持范围。特别是采用 MoE + 线性 Attention 架构的模型,当前 MUSA 适配不支持;不能仅凭 Llama-Factory 上游文档推断这些模型可在本镜像中训练。
2. 环境准备
机器信息
在 MTT S5000 上进行 Llama-Factory 微调。宿主机 Linux Driver 为 3.3.10,容器内 MUSA SDK 为 4.3.10。
使用 TrainingSuite v2.2.0 镜像 registry.mthreads.com/mcconline/training-suite:v2.2.0。v2.2.0 使用 MUSA SDK 4.3.10、Python 3.12、PyTorch 2.9.0.post1 和 torch_musa 2.9.0.post1;其他组件版本以容器内检查结果为准。
创建并启动微调容器
# 获取 v2.2.0 镜像
sudo docker pull registry.mthreads.com/mcconline/training-suite:v2.2.0
# 创建容器
sudo docker create \
--privileged \
--env MTHREADS_VISIBLE_DEVICES=all \
--net host \
-v /data/:/data/ \
--name llamafactory \
registry.mthreads.com/mcconline/training-suite:v2.2.0 \
sleep infinity
# 启动并进入容器
sudo docker start llamafactory
sudo docker exec -it llamafactory bash
# 在容器里,启动ssh服务
service ssh restart
GPU 识别验证
进入容器后,验证MTT S5000 GPU 的识别状态与拓扑连接:
# 查看GPU硬件识别与状态
mthreads-gmi
# 验证MCCL通信能力(需已经安装mccl-test,进入目录)
# ./mccl_test
3. 使用镜像中的 Llama-Factory
v2.2.0 镜像已集成 LLaMA-Factory 0.9.3 MUSA 适配代码、配置和启动脚本,无需单独下载或安装。适配目录位于 /home/llama-factory-musa-profile。进入容器后,可以直接确认版本和脚本:
cd /home/llama-factory-musa-profile
source env.sh
llamafactory-cli version
ls -l scripts
所有模型建议统一下载并存放在 /data/models。创建容器时通过 -v /data:/data 挂载宿主机目录,容器重建后仍可复用模型和训练产物。
如需自行安装 Llama-Factory,或排查 v2.1.7 的历史环境,请参阅 v2.1.7 手动安装 Llama-Factory 流程。
4. 运行 Llama-Factory WebUI
打开终端执行命令,即可运行 Llama-Factory webui。
# 运行 webui
llamafactory-cli webui
# webui运行在7860端口
Running on local URL: 0.0.0.0: 7860
因为有些场景下无法访问webui,本文下面用命令行操作。
5. 下载模型、数据
下载模型
使用 ModelScope 将v2.2.0已验证模型下载到 /data/models:
python3 -m pip install modelscope
mkdir -p /data/models
modelscope download --model Qwen/Qwen2-1.5B-Instruct --local_dir /data/models/Qwen2-1.5B-Instruct
modelscope download --model Qwen/Qwen3-8B --local_dir /data/models/Qwen3-8B
modelscope download --model LLM-Research/Meta-Llama-3-8B-Instruct --local_dir /data/models/Llama3-8B
6. SFT 微调
v2.2.0 已验证模型的 8 卡 SFT
进入镜像内脚本目录,按实际模型选择一条命令运行:
cd /home/llama-factory-musa-profile
MODEL_DIR=/data/models/Qwen2-1.5B-Instruct \
bash scripts/run_sft_8card.sh template=qwen
MODEL_DIR=/data/models/Qwen3-8B \
bash scripts/run_sft_8card.sh template=qwen3 enable_thinking=false
MODEL_DIR=/data/models/Llama3-8B \
bash scripts/run_sft_8card.sh template=llama3
三条命令只运行与当前模型对应的一条。
7. 查看本版功能脚本
v2.2.0 对 Qwen2-1.5B-Instruct、Qwen3-8B 和 Llama3-8B 支持 SFT、DPO、QLoRA、Packing 和 Ulysses。脚本位于 /home/llama-factory-musa-profile/scripts,先查看镜像内实际文件和帮助信息,再选择对应入口:
ls -l /home/llama-factory-musa-profile/scripts
不要根据其他版本或上游文件名自行补全未确认的命令。
8. 功能测试脚本
8.1 验证 CP Ulysses 功能
run_cp_ulysses_test.sh脚本如下:
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$(readlink -f "$0")")"
export MUSA_VISIBLE_DEVICES="${MUSA_VISIBLE_DEVICES:-0,1,2,3,4,5,6,7}"
export NPROC_PER_NODE="${NPROC_PER_NODE:-8}"
export DS_ACCELERATOR=musa
export NCCL_PROTOS=2
export MUSA_LAUNCH_BLOCKING=1
export MUSA_KERNEL_TIMEOUT=1800000000000
export WANDB_DISABLED=true
export ENABLE_MUSA_BF16=1
export ENABLE_CP_ULYSSES=1
export CP_ULYSSES_SIZE="${CP_ULYSSES_SIZE:-4}"
export CP_ULYSSES_ATTENTION=fa2
export CP_ULYSSES_GRAD_ACC=1
export ENABLE_MUSA_DEEPSPEED_VERSION_COMPAT=1
export PYTHONPATH="$(pwd)${PYTHONPATH:+:${PYTHONPATH}}"
unset ENABLE_FP8
OUT="${CP_ULYSSES_OUTPUT:-output/test_cp_ulysses}"
exec env FORCE_TORCHRUN=1 llamafactory-cli train qwen2_cp_ulysses.yaml \
model_name_or_path="${MODEL_DIR:-${HOME}/code/Qwen2-1.5B-Instruct}" \
output_dir="$OUT"
运行脚本时需要关注两个参数:CP_ULYSSES_SIZE 默认值为 4,MODEL_DIR 默认值为 ${HOME}/code/Qwen2-1.5B-Instruct。请按实际模型目录替换。
CP_ULYSSES_SIZE=2 MODEL_DIR=/data/models/Qwen2-0.5B-Instruct bash run_cp_ulysses_test.sh
输出结果
{'loss': 12.0598, 'grad_norm': 13.577905654907227, 'learning_rate': 0.0, 'epoch': 0.05}
{'loss': 12.0014, 'grad_norm': 16.03728675842285, 'learning_rate': 1e-05, 'epoch': 0.1}
{'loss': 12.0358, 'grad_norm': 13.431591987609863, 'learning_rate': 9.698463103929542e-06, 'epoch': 0.15}
{'loss': 11.9524, 'grad_norm': 9.968088150024414, 'learning_rate': 8.83022221559489e-06, 'epoch': 0.2}
{'loss': 11.8369, 'grad_norm': 11.732954978942871, 'learning_rate': 7.500000000000001e-06, 'epoch': 0.25}
{'loss': 11.5738, 'grad_norm': 11.202408790588379, 'learning_rate': 5.8682408883346535e-06, 'epoch': 0.3}
{'loss': 11.6864, 'grad_norm': 9.450056076049805, 'learning_rate': 4.131759111665349e-06, 'epoch': 0.35}
{'loss': 11.6509, 'grad_norm': 8.38250732421875, 'learning_rate': 2.5000000000000015e-06, 'epoch': 0.4}
{'loss': 11.5937, 'grad_norm': 10.41850757598877, 'learning_rate': 1.1697777844051105e-06, 'epoch': 0.45}
{'loss': 11.6049, 'grad_norm': 9.470956802368164, 'learning_rate': 3.015368960704584e-07, 'epoch': 0.5}
**** train metrics *****
epoch = 0.5
total_flos = 25806GF
train_loss = 11.7996
train_runtime = 0:00:18.28
train_samples_per_second = 8.751
train_steps_per_second = 0.547
说明:不开CP时,执行脚本bash run_baseline_test.sh
8.2 验证packing功能
执行脚本:bash run_packing_test.sh
MODEL_DIR=/data/models/Qwen2-0.5B-Instruct bash run_packing_test.sh
8.3 验证QLora功能
说明:QLora必须加载权重,可以加载前面CP Ulysses执行保存的权重 在当前目录确认安装:bitsandbytes
python -m pip install bitsandbytes==0.50.2 -i https://mirrors.aliyun.com/pypi/simple
执行脚本
bash run_qlora_test.sh
8.4 验证fp8功能
执行脚本
MODEL_DIR=/data/models/Qwen2-0.5B-Instruct bash run_fp8_test.sh
8.5 验证dpo功能
执行脚本
MODEL_DIR=/data/models/Qwen2-0.5B-Instruct bash run_dpo_test.sh

