跳到主要内容

v2.2.0 训练框架适配说明

本文说明 TrainingSuite v2.2.0 适配的训练框架、运行基线和文档入口。Intel/AMD 与 Hygon 镜像使用相同的软件栈版本和训练框架支持范围,请根据宿主机 CPU 架构选择对应镜像,不能混用。

1. 运行基线​

组件参考版本
操作系统Ubuntu 22.04
Linux Driver3.3.10
MUSA SDK4.3.10
Python3.12.0
PyTorch / torch_musa2.9.0.post1 / 2.9.0.post1
torchvision / torchaudio0.22.1 / 2.7.1
Transformers5.16.1
Megatron-LM / megatron-musa-titan0.19.0 / 0.1.0
TransformerEngine2.13.0
DeepSpeed0.19.3
Verl / Slime / Miles0.9.1 / 0.4.0 / 0.1.0
LLaMA-Factory0.9.3
training-musa-adaptor2.2.0
SimuMax1.2.0
SGLang0.5.12.post1

MTT S5000 容器应识别 8 张 MUSA GPU,且 torch.musa.is_available() 返回 True。其他组件以容器内实际检查结果为准。

2. 已适配训练框架​

框架版本主要能力使用边界文档
MT-MegatronMegatron-LM 0.19.0 / Titan 0.1.0大模型预训练、模型并行、MoE、FP8 和通信优化模型、并行和精度参数需与训练页面一致入门
MT-TransformerEngine2.13.0FP8 训练和 Transformer 算子优化与其他 TrainingSuite 组件组合使用时需重新验证入门
MT-DeepSpeed0.19.3ZeRO、AutoEP、Qwen3.5 多模态训练和显存优化AutoEP 与多模态模型范围见发布说明入门
LLaMA-Factory0.9.3SFT、DPO、QLoRA、Packing 和 Ulysses仅验证 Qwen2-1.5B-Instruct、Qwen3-8B 和 Llama3-8B入门
Megatron BridgeBridge 0.4.2 / Core 0.19;文本 SFT 示例另装 0.6.2Qwen 多模态预训练与 SFT、Qwen3-30B-A3B 文本 SFT两个 Bridge 版本不能互相替代入门
MT-ms-swift4.5.3视频 SFT、文本 CPT 和 DPO仅覆盖发布说明列出的四个模型,依赖 training-musa-adaptor入门
MT-veRL0.9.1MUSA 硬件插件、运行时 patch、Megatron + SGLang GRPO使用外部源码时必须固定 0.9.1 对应提交入门
MT-Slime0.4.0大语言模型强化学习后训练训练参数和 SGLang 运行时版本需与页面匹配入门
MT-Miles0.1.0Qwen3-30B-A3B GRPO、Megatron 训练和 SGLang rollout不支持据此推断 Miles main、后续版本或其他模型入门

3. 支持范围​

已有测试记录的通用模型范围见发布说明。框架页面只能在其已验证模型和能力范围内使用,不能根据上游框架文档推断当前镜像同样支持。

Llama-Factory 已验证以下模型和功能:

模型SFTDPOQLoRAPackingUlysses
Qwen2-1.5B-Instruct支持支持支持支持支持
Qwen3-8B支持支持支持支持支持
Llama3-8B支持支持支持支持支持

Megatron Bridge、MT-ms-swift、MT-DeepSpeed、MT-veRL、MT-Slime、MT-Miles 和全流程训练的具体边界见发布说明。

4. 使用流程​

  1. 按宿主机 CPU 架构选择 Intel/AMD 或 Hygon 镜像,完成快速开始中的环境检查。
  2. 根据任务类型从第 2 节选择训练框架,并阅读对应入门和实践文档。
  3. 将模型、数据集和输出统一放在 /data 下,并使用相同的挂载路径启动容器。
  4. 只使用框架文档中已经验证的模型、功能和参数组合。
  5. 多机训练前,确认所有节点使用相同镜像、代码提交、Linux Driver、MUSA SDK、PyTorch、torch_musa 和通信配置。

5. 下一步​

  • 快速开始:启动容器并检查实际运行环境。
  • 发布说明:查看完整组件版本、支持模型和框架边界。
  • 起飞检查:在多机训练前检查宿主机、GPU、网络和集合通信。