v2.2.0 训练框架适配说明
本文说明 TrainingSuite v2.2.0 适配的训练框架、运行基线和文档入口。Intel/AMD 与 Hygon 镜像使用相同的软件栈版本和训练框架支持范围,请根据宿主机 CPU 架构选择对应镜像,不能混用。
1. 运行基线
| 组件 | 参考版本 |
|---|---|
| 操作系统 | Ubuntu 22.04 |
| Linux Driver | 3.3.10 |
| MUSA SDK | 4.3.10 |
| Python | 3.12.0 |
PyTorch / torch_musa | 2.9.0.post1 / 2.9.0.post1 |
| torchvision / torchaudio | 0.22.1 / 2.7.1 |
| Transformers | 5.16.1 |
| Megatron-LM / megatron-musa-titan | 0.19.0 / 0.1.0 |
| TransformerEngine | 2.13.0 |
| DeepSpeed | 0.19.3 |
| Verl / Slime / Miles | 0.9.1 / 0.4.0 / 0.1.0 |
| LLaMA-Factory | 0.9.3 |
| training-musa-adaptor | 2.2.0 |
| SimuMax | 1.2.0 |
| SGLang | 0.5.12.post1 |
MTT S5000 容器应识别 8 张 MUSA GPU,且 torch.musa.is_available() 返回 True。其他组件以容器内实际检查结果为准。
2. 已适配训练框架
| 框架 | 版本 | 主要能力 | 使用边界 | 文档 |
|---|---|---|---|---|
| MT-Megatron | Megatron-LM 0.19.0 / Titan 0.1.0 | 大模型预训练、模型并行、MoE、FP8 和通信优化 | 模型、并行和精度参数需与训练页面一致 | 入门 |
| MT-TransformerEngine | 2.13.0 | FP8 训练和 Transformer 算子优化 | 与其他 TrainingSuite 组件组合使用时需重新验证 | 入门 |
| MT-DeepSpeed | 0.19.3 | ZeRO、AutoEP、Qwen3.5 多模态训练和显存优化 | AutoEP 与多模态模型范围见发布说明 | 入门 |
| LLaMA-Factory | 0.9.3 | SFT、DPO、QLoRA、Packing 和 Ulysses | 仅验证 Qwen2-1.5B-Instruct、Qwen3-8B 和 Llama3-8B | 入门 |
| Megatron Bridge | Bridge 0.4.2 / Core 0.19;文本 SFT 示例另装 0.6.2 | Qwen 多模态预训练与 SFT、Qwen3-30B-A3B 文本 SFT | 两个 Bridge 版本不能互相替代 | 入门 |
| MT-ms-swift | 4.5.3 | 视频 SFT、文本 CPT 和 DPO | 仅覆盖发布说明列出的四个模型,依赖 training-musa-adaptor | 入门 |
| MT-veRL | 0.9.1 | MUSA 硬件插件、运行时 patch、Megatron + SGLang GRPO | 使用外部源码时必须固定 0.9.1 对应提交 | 入门 |
| MT-Slime | 0.4.0 | 大语言模型强化学习后训练 | 训练参数和 SGLang 运行时版本需与页面匹配 | 入门 |
| MT-Miles | 0.1.0 | Qwen3-30B-A3B GRPO、Megatron 训练和 SGLang rollout | 不支持据此推断 Miles main、后续版本或其他模型 | 入门 |
3. 支持范围
已有测试记录的通用模型范围见发布说明。框架页面只能在其已验证模型和能力范围内使用,不能根据上游框架文档推断当前镜像同样支持。
Llama-Factory 已验证以下模型和功能:
| 模型 | SFT | DPO | QLoRA | Packing | Ulysses |
|---|---|---|---|---|---|
| Qwen2-1.5B-Instruct | 支持 | 支持 | 支持 | 支持 | 支持 |
| Qwen3-8B | 支持 | 支持 | 支持 | 支持 | 支持 |
| Llama3-8B | 支持 | 支持 | 支持 | 支持 | 支持 |
Megatron Bridge、MT-ms-swift、MT-DeepSpeed、MT-veRL、MT-Slime、MT-Miles 和全流程训练的具体边界见发布说明。
4. 使用流程
- 按宿主机 CPU 架构选择 Intel/AMD 或 Hygon 镜像,完成快速开始中的环境检查。
- 根据任务类型从第 2 节选择训练框架,并阅读对应入门和实践文档。
- 将模型、数据集和输出统一放在
/data下,并使用相同的挂载路径启动容器。 - 只使用框架文档中已经验证的模型、功能和参数组合。
- 多机训练前,确认所有节点使用相同镜像、代码提交、Linux Driver、MUSA SDK、PyTorch、
torch_musa和通信配置。

