跳到主要内容

MT-ms-swift 入门

版本与验证范围

TrainingSuite v2.2.0 集成 training-musa-adaptor 的 examples/ms_swift 训练脚本,使用 Python 3.12 和 ms-swift[megatron]==4.5.3。Qwen3.5-9B、Qwen3.8-27B 的全流程训练以对应专题页为准。

Qwen3.5-4B 专用公网镜像使用 ms-swift 4.7.0,不要混用本页示例与该专用镜像的依赖环境。

1. MT-ms-swift 是什么​

ms-swift 是面向大语言模型和多模态模型训练、微调与部署的框架。TrainingSuite v2.2.0 通过 training-musa-adaptor 提供 MUSA 训练示例,将 ms-swift 的 Trainer、Megatron bridge、模型模板和数据处理流程连接到 MUSA、MCCL 和 torch_musa。

本版本提供 4 个模型示例。Qwen3.5-9B 和 Qwen3.8-27B 还提供 LoRA SFT 全流程脚本。

2. 支持范围​

模型视频全参数 SFT文本 CPT文本 DPOLoRA SFT默认训练后端
Qwen3.5-9B支持支持支持支持ms-swift Trainer + DeepSpeed ZeRO-3
Qwen3-VL-32B-Instruct支持支持支持未验证Megatron + mcore-bridge
Qwen3.5-35B-A3B支持支持支持未验证Megatron + mcore-bridge
Qwen3.8-27B支持支持支持支持Megatron + mcore-bridge

上述模型和任务已完成示例脚本验证。其他模型需要单独适配 MUSA 算子、模型模板、并行策略和 MCCL 通信,不能仅凭 ms-swift 上游支持范围推断其可在当前环境运行。

3. 技术架构​

模型权重 / 本地数据集
↓
ms-swift 数据转换与模型模板
↓
Trainer + ZeRO-3 或 Megatron + mcore-bridge
↓
torch_musa / MUSA kernel / MCCL
↓
checkpoint、logging.jsonl、train.log

Qwen3.5-9B 使用官方 Trainer CLI 和 DeepSpeed ZeRO-3。其他三个模型使用 Megatron 路径,默认 TP=1、PP=8,并通过 mcore-bridge 将 ms-swift 配置转换为 Megatron 参数。

4. 环境基线​

组件参考版本或配置
GPU单机 8 × MTT S5000
镜像registry.mthreads.com/mcconline/training-suite:v2.2.0
Linux Driver3.3.10
MUSA SDK4.3.10
Python3.12
PyTorch / torch_musa2.9.0.post1
ms-swift4.5.3
training-musa-adaptor2.2.0
Transformers5.16.1
Flash Linear Attention0.5.2
训练精度BF16
默认训练步数30

进入容器后应使用 python3、pip show 和 mthreads-gmi 核对实际版本。镜像 tag、驱动和软件栈版本不能相互替代。

5. 推荐流程​

  1. 启动并检查 TrainingSuite v2.2.0 训练环境。
  2. 安装 ms-swift、Transformers、Flash Linear Attention 和 TorchCodec 依赖。
  3. 准备 training-musa-adaptor 示例代码、完整模型权重和本地数据集。
  4. 设置 MODEL_DIR、DATASET_ROOT、RUN_DIR,执行 CHECK_ONLY=1 和 DRY_RUN=1。
  5. 使用 MAX_STEPS=1 完成单步冒烟测试。
  6. 按实际集群资源设置并行、batch、offload 和端口后启动正式训练。

6. 文档导航​