MT-ms-swift 入门
TrainingSuite v2.2.0 集成 training-musa-adaptor 的 examples/ms_swift 训练脚本,使用 Python 3.12 和 ms-swift[megatron]==4.5.3。Qwen3.5-9B、Qwen3.8-27B 的全流程训练以对应专题页为准。
Qwen3.5-4B 专用公网镜像使用 ms-swift 4.7.0,不要混用本页示例与该专用镜像的依赖环境。
1. MT-ms-swift 是 什么
ms-swift 是面向大语言模型和多模态模型训练、微调与部署的框架。TrainingSuite v2.2.0 通过 training-musa-adaptor 提供 MUSA 训练示例,将 ms-swift 的 Trainer、Megatron bridge、模型模板和数据处理流程连接到 MUSA、MCCL 和 torch_musa。
本版本提供 4 个模型示例。Qwen3.5-9B 和 Qwen3.8-27B 还提供 LoRA SFT 全流程脚本。
2. 支持范围
| 模型 | 视频全参数 SFT | 文本 CPT | 文本 DPO | LoRA SFT | 默认训练后端 |
|---|---|---|---|---|---|
| Qwen3.5-9B | 支持 | 支持 | 支持 | 支持 | ms-swift Trainer + DeepSpeed ZeRO-3 |
| Qwen3-VL-32B-Instruct | 支持 | 支持 | 支持 | 未验证 | Megatron + mcore-bridge |
| Qwen3.5-35B-A3B | 支持 | 支持 | 支持 | 未验证 | Megatron + mcore-bridge |
| Qwen3.8-27B | 支持 | 支持 | 支持 | 支持 | Megatron + mcore-bridge |
上述模型和任务已完成示例脚本验证。其他模型需要单独适配 MUSA 算子、模型模板、并行策略和 MCCL 通信,不能仅凭 ms-swift 上游支持范围推断其可在当前环境运行。
3. 技术架构
模型权重 / 本地数据集
↓
ms-swift 数据转换与模型模板
↓
Trainer + ZeRO-3 或 Megatron + mcore-bridge
↓
torch_musa / MUSA kernel / MCCL
↓
checkpoint、logging.jsonl、train.log
Qwen3.5-9B 使用官方 Trainer CLI 和 DeepSpeed ZeRO-3。其他三个模型使用 Megatron 路径,默认 TP=1、PP=8,并通过 mcore-bridge 将 ms-swift 配置转换为 Megatron 参数。
4. 环境基线
| 组件 | 参考版本或配置 |
|---|---|
| GPU | 单机 8 × MTT S5000 |
| 镜像 | registry.mthreads.com/mcconline/training-suite:v2.2.0 |
| Linux Driver | 3.3.10 |
| MUSA SDK | 4.3.10 |
| Python | 3.12 |
| PyTorch / torch_musa | 2.9.0.post1 |
| ms-swift | 4.5.3 |
| training-musa-adaptor | 2.2.0 |
| Transformers | 5.16.1 |
| Flash Linear Attention | 0.5.2 |
| 训练精度 | BF16 |
| 默认训练步数 | 30 |
进入容器后应使用 python3、pip show 和 mthreads-gmi 核对实际版本。镜像 tag、驱动和软件栈版本不能相互替代。
5. 推荐流程
- 启动并检查 TrainingSuite v2.2.0 训练环境。
- 安装 ms-swift、Transformers、Flash Linear Attention 和 TorchCodec 依赖。
- 准备
training-musa-adaptor示例代码、完整模型权重和本地数据集。 - 设置
MODEL_DIR、DATASET_ROOT、RUN_DIR,执行CHECK_ONLY=1和DRY_RUN=1。 - 使用
MAX_STEPS=1完成单步冒烟测试。 - 按实际集群资源设置并行、batch、offload 和端口后启动正式训练。
6. 文档导航
- 使用 MT-ms-swift 执行模型训练:依赖安装、数据准备、训练脚本和常见问题。
- Qwen3.5-9B 全流程训练:CPT、视频问答 SFT、DPO 和 LoRA SFT。
- Qwen3.8-27B 全流程训练:基于 Megatron TP=1、PP=8 的全流程训练。
- 训练框架适配说明:查看 v2.2.0 其他训练框架和版本边界。

