TrainingSuite v2.2.0 发布说明
1. 发布概览
1.1 公网镜像
| 适用平台 | 镜像地址 | 说明 |
|---|---|---|
| Intel/AMD | registry.mthreads.com/mcconline/training-suite:v2.2.0 | Linux Driver 3.3.10、MUSA SDK 4.3.10;集成适配后的训练框架 |
| Hygon | registry.mthreads.com/mcconline/training-suite:v2.2.0_hygon | 与 Intel/AMD 镜像使用相同的软件栈版本和训练框架支持范围 |
请根据宿主机 CPU 架构选择对应标签,两类镜像不能混用。镜像中包含 TrainingSuite 训练组件,不等同于独立 PyTorch 基础镜像。
1.2 基础环境
| 项目 | 版本或说明 |
|---|---|
| CPU 架构 | Intel/AMD 与 Hygon 分别使用对应镜像 |
| 操作系统 | Ubuntu 22.04 |
| Python | 3.12 |
| GPU | MTT S5000 |
2. 组件版本
未列出的组件以容器内实际检查结果为准。
2.1 宿主机与 MUSA 软件栈
| 类别 | 组件 | 版本 | 对应文档 |
|---|---|---|---|
| 宿主机安装包 | Linux Driver | 3.3.10 | Linux Driver |
| MUSA 软件包 | MUSA SDK / Toolkits | 4.3.10 | MUSA SDK |
| MUSA 软件包 | muDNN | 3.1.10.1 | MUSA SDK |
| MUSA 软件包 | MCCL | 2.1.10 | MUSA SDK |
2.2 训练与分布式组件
| 组件 | 版本 | 对应文档 |
|---|---|---|
| PyTorch | 2.9.0.post1 | Torch MUSA |
| torch_musa | 2.9.0.post1 | Torch MUSA |
| Megatron-LM | 0.19.0 | MT-Megatron |
| megatron-musa-titan | 0.1.0 | MT-Megatron |
| TransformerEngine | 2.13.0 | MT-TransformerEngine |
| DeepSpeed | 0.19.3 | MT-DeepSpeed |
| ms-swift | 4.5.3 | MT-ms-swift |
| Verl | 0.9.1 | MT-veRL |
| Slime | 0.4.0 | MT-Slime |
| Miles | 0.1.0 | MT-Miles |
| LLaMA-Factory | 0.9.3 | LLaMA-Factory |
| SimuMax | 1.2 | SimuMax |
2.3 推理组件
| 组件 | 版本 | 对应文档 |
|---|---|---|
| SGLang | 0.5.12.post1 | SGLang-MUSA |
| sgl-kernel | 0.3.19 | SGLang-MUSA |
| sglang-router | 0.1.9 | SGLang-MUSA |
| vLLM | 0.10.1.2.dev0 | vLLM-MUSA |
| vllm_musa | 0.10.1 | vLLM-MUSA |
3. 本版新增能力
3.1 训练框架
- Llama-Factory:镜像集成 MUSA 适配,支持 SFT、DPO、QLoRA、Packing 和 Ulysses。已验证 Qwen2-1.5B-Instruct、Qwen3-8B 和 Llama3-8B,启动脚本位于
/home/llama-factory-musa-profile。 - Megatron Bridge:新增 Qwen3-VL-32B-Instruct、Qwen3.5-4B、Qwen3.5-35B-A3B 和 Qwen3.8-27B 多模态训练示例,并提供 Qwen3-30B-A3B tulu3 文本 SFT 流程。
- MT-ms-swift:适配示例使用 ms-swift 4.5.3,覆盖 Qwen3.5-9B、Qwen3-VL-32B-Instruct、Qwen3.5-35B-A3B 和 Qwen3.8-27B 的视频 SFT、文本 CPT 与 DPO。
- MT-veRL:通过
verl-hardware-plugin和 Titan 运行时 patch 支持 veRL、Megatron 与 SGLang,并提供 Qwen3-30B 四机、Qwen3-8B 双机及分离异步训练示例。 - MT-Miles:基于 Miles v0.1.0 提供 Qwen3-30B-A3B GRPO 示例,使用 Megatron-LM 更新参数、SGLang-MUSA 执行 rollout。
- MT-DeepSpeed:新增 Qwen3 系列 MoE AutoEP 支持,验证 Qwen3.5-35B-A3B 的 LLaVA-Pretrain 多模态训练,并修复 ZeRO-3 初始化问题。
- MT-Megatron 与 MT-TransformerEngine:MT-Megatron 使用 0.19.0;MT-TransformerEngine 使用 2.13.0,继续提供 FP8 训练和 Transformer 算子优化。
3.2 全流程与大规模训练
- 新增 Qwen3.5-9B 和 Qwen3.8-27B 全流程训练说明,覆盖 CPT、视频问答 SFT、DPO 和 LoRA SFT。
- 提供 Llama3-70B 与 Kimi-K2 千卡级训练流程,涵盖环境检查、任务启动、日志监控和检查点管理。
3.3 训练性能模拟
新增 SimuMax 1.2 说明,可在真实训练前评估吞吐、显存、通信、并行策略和 pipeline trace。模拟结果用于方案评估,不等同于真实训练结果。
4. 支持范围
4.1 已验证模型
v2.2.0 已形成测试记录的模型范围如下:
| 模型系列 | 模型 / 规模 |
|---|---|
| DeepSeek | DeepSeek V2 Lite、DeepSeek V2 Chat、DeepSeek V2-16B、DeepSeek V2-236B-2Layer |
| Qwen | Qwen3-8B、Qwen3-30B、Qwen3.5-122B |
| Llama | Llama3-8B、Llama3-70B |
| Kimi | Kimi-K2-1000B(BF16) |
该表表示已有测试记录的模型范围。具体训练方式、精度、序列长度和并行规模以对应框架页面及镜像实际检查结果为准。
4.2 框架支持边界
- Llama-Factory:仅验证 Qwen2-1.5B-Instruct、Qwen3-8B 和 Llama3-8B。其他模型尚未验证,MoE + 线性 Attention 架构模型不在当前支持范围内。
- Megatron Bridge:镜像依赖 Bridge 0.4.2,用于现有 Qwen 多模态示例;Qwen3-30B-A3B tulu3 文本 SFT 示例单独使用 Bridge 0.6.2。
- MT-ms-swift:4.5.3 适配示例仅覆盖上述四个模型,不等同于通用 v2.2.0 镜像默认包含相同版本或支持其他模型。
- MT-DeepSpeed:AutoEP 已验证 Qwen3-30B-A3B 和 Qwen3.5-35B-A3B;Qwen3.5 多模态训练仅验证 Qwen3.5-35B-A3B + LLaVA-Pretrain。
- MT-Miles:仅验证 Miles v0.1.0 和 Qwen3-30B-A3B GRPO,不支持据此推断 Miles
main、后续版本或其他模型。 - MT-veRL:示例从外部源码加载 veRL,使用前必须固定代码提交,并在所有节点核对运行时版本。
- 全流程训练:仅覆盖 Qwen3.5-9B 和 Qwen3.8-27B;不能据此推断其他 Qwen 模型或模型变体同样受支持。
5. 环境检查
进入容器后执行:
mthreads-gmi
musa_version_query
python3 - <<'PY'
import deepspeed
import torch
import torch_musa
import transformer_engine
import sglang
print("PyTorch:", torch.__version__)
print("torch_musa:", torch_musa.__version__)
print("MUSA available:", torch.musa.is_available())
print("MUSA device count:", torch.musa.device_count())
print("DeepSpeed:", deepspeed.__version__)
print("TransformerEngine:", getattr(transformer_engine, "__version__", "unknown"))
print("SGLang:", getattr(sglang, "__version__", "unknown"))
PY
cd /home/llama-factory-musa-profile
source env.sh
llamafactory-cli version
如果镜像未提供 musa_version_query 或 /usr/local/musa/version.json,请使用镜像实际提供的 SDK 版本查询方式。实际版本与发布矩阵不一致时,先停止训练并核对镜像标签。
6. 下一步
- 快速开始:选择镜像、启动容器并检查运行环境。
- 训练框架适配说明:按任务选择训练框架并查看支持边界。
- 起飞检查:在单机或多机训练前检查宿主机、容器、GPU 和通信环境。
- Qwen3.5-9B 全流程训练或 Qwen3.8-27B 全流程训练:执行 CPT、SFT、DPO 和 LoRA SFT。
- SimuMax 训练性能模拟:在真实训练前评估训练配置。

