跳到主要内容

TrainingSuite v2.2.0 发布说明

1. 发布概览​

1.1 公网镜像​

适用平台镜像地址说明
Intel/AMDregistry.mthreads.com/mcconline/training-suite:v2.2.0Linux Driver 3.3.10、MUSA SDK 4.3.10;集成适配后的训练框架
Hygonregistry.mthreads.com/mcconline/training-suite:v2.2.0_hygon与 Intel/AMD 镜像使用相同的软件栈版本和训练框架支持范围

请根据宿主机 CPU 架构选择对应标签,两类镜像不能混用。镜像中包含 TrainingSuite 训练组件,不等同于独立 PyTorch 基础镜像。

1.2 基础环境​

项目版本或说明
CPU 架构Intel/AMD 与 Hygon 分别使用对应镜像
操作系统Ubuntu 22.04
Python3.12
GPUMTT S5000

2. 组件版本​

未列出的组件以容器内实际检查结果为准。

2.1 宿主机与 MUSA 软件栈​

类别组件版本对应文档
宿主机安装包Linux Driver3.3.10Linux Driver
MUSA 软件包MUSA SDK / Toolkits4.3.10MUSA SDK
MUSA 软件包muDNN3.1.10.1MUSA SDK
MUSA 软件包MCCL2.1.10MUSA SDK

2.2 训练与分布式组件​

组件版本对应文档
PyTorch2.9.0.post1Torch MUSA
torch_musa2.9.0.post1Torch MUSA
Megatron-LM0.19.0MT-Megatron
megatron-musa-titan0.1.0MT-Megatron
TransformerEngine2.13.0MT-TransformerEngine
DeepSpeed0.19.3MT-DeepSpeed
ms-swift4.5.3MT-ms-swift
Verl0.9.1MT-veRL
Slime0.4.0MT-Slime
Miles0.1.0MT-Miles
LLaMA-Factory0.9.3LLaMA-Factory
SimuMax1.2SimuMax

2.3 推理组件​

组件版本对应文档
SGLang0.5.12.post1SGLang-MUSA
sgl-kernel0.3.19SGLang-MUSA
sglang-router0.1.9SGLang-MUSA
vLLM0.10.1.2.dev0vLLM-MUSA
vllm_musa0.10.1vLLM-MUSA

3. 本版新增能力​

3.1 训练框架​

  • Llama-Factory:镜像集成 MUSA 适配,支持 SFT、DPO、QLoRA、Packing 和 Ulysses。已验证 Qwen2-1.5B-Instruct、Qwen3-8B 和 Llama3-8B,启动脚本位于 /home/llama-factory-musa-profile。
  • Megatron Bridge:新增 Qwen3-VL-32B-Instruct、Qwen3.5-4B、Qwen3.5-35B-A3B 和 Qwen3.8-27B 多模态训练示例,并提供 Qwen3-30B-A3B tulu3 文本 SFT 流程。
  • MT-ms-swift:适配示例使用 ms-swift 4.5.3,覆盖 Qwen3.5-9B、Qwen3-VL-32B-Instruct、Qwen3.5-35B-A3B 和 Qwen3.8-27B 的视频 SFT、文本 CPT 与 DPO。
  • MT-veRL:通过 verl-hardware-plugin 和 Titan 运行时 patch 支持 veRL、Megatron 与 SGLang,并提供 Qwen3-30B 四机、Qwen3-8B 双机及分离异步训练示例。
  • MT-Miles:基于 Miles v0.1.0 提供 Qwen3-30B-A3B GRPO 示例,使用 Megatron-LM 更新参数、SGLang-MUSA 执行 rollout。
  • MT-DeepSpeed:新增 Qwen3 系列 MoE AutoEP 支持,验证 Qwen3.5-35B-A3B 的 LLaVA-Pretrain 多模态训练,并修复 ZeRO-3 初始化问题。
  • MT-Megatron 与 MT-TransformerEngine:MT-Megatron 使用 0.19.0;MT-TransformerEngine 使用 2.13.0,继续提供 FP8 训练和 Transformer 算子优化。

3.2 全流程与大规模训练​

  • 新增 Qwen3.5-9B 和 Qwen3.8-27B 全流程训练说明,覆盖 CPT、视频问答 SFT、DPO 和 LoRA SFT。
  • 提供 Llama3-70B 与 Kimi-K2 千卡级训练流程,涵盖环境检查、任务启动、日志监控和检查点管理。

3.3 训练性能模拟​

新增 SimuMax 1.2 说明,可在真实训练前评估吞吐、显存、通信、并行策略和 pipeline trace。模拟结果用于方案评估,不等同于真实训练结果。

4. 支持范围​

4.1 已验证模型​

v2.2.0 已形成测试记录的模型范围如下:

模型系列模型 / 规模
DeepSeekDeepSeek V2 Lite、DeepSeek V2 Chat、DeepSeek V2-16B、DeepSeek V2-236B-2Layer
QwenQwen3-8B、Qwen3-30B、Qwen3.5-122B
LlamaLlama3-8B、Llama3-70B
KimiKimi-K2-1000B(BF16)

该表表示已有测试记录的模型范围。具体训练方式、精度、序列长度和并行规模以对应框架页面及镜像实际检查结果为准。

4.2 框架支持边界​

  • Llama-Factory:仅验证 Qwen2-1.5B-Instruct、Qwen3-8B 和 Llama3-8B。其他模型尚未验证,MoE + 线性 Attention 架构模型不在当前支持范围内。
  • Megatron Bridge:镜像依赖 Bridge 0.4.2,用于现有 Qwen 多模态示例;Qwen3-30B-A3B tulu3 文本 SFT 示例单独使用 Bridge 0.6.2。
  • MT-ms-swift:4.5.3 适配示例仅覆盖上述四个模型,不等同于通用 v2.2.0 镜像默认包含相同版本或支持其他模型。
  • MT-DeepSpeed:AutoEP 已验证 Qwen3-30B-A3B 和 Qwen3.5-35B-A3B;Qwen3.5 多模态训练仅验证 Qwen3.5-35B-A3B + LLaVA-Pretrain。
  • MT-Miles:仅验证 Miles v0.1.0 和 Qwen3-30B-A3B GRPO,不支持据此推断 Miles main、后续版本或其他模型。
  • MT-veRL:示例从外部源码加载 veRL,使用前必须固定代码提交,并在所有节点核对运行时版本。
  • 全流程训练:仅覆盖 Qwen3.5-9B 和 Qwen3.8-27B;不能据此推断其他 Qwen 模型或模型变体同样受支持。

5. 环境检查​

进入容器后执行:

mthreads-gmi
musa_version_query
python3 - <<'PY'
import deepspeed
import torch
import torch_musa
import transformer_engine
import sglang

print("PyTorch:", torch.__version__)
print("torch_musa:", torch_musa.__version__)
print("MUSA available:", torch.musa.is_available())
print("MUSA device count:", torch.musa.device_count())
print("DeepSpeed:", deepspeed.__version__)
print("TransformerEngine:", getattr(transformer_engine, "__version__", "unknown"))
print("SGLang:", getattr(sglang, "__version__", "unknown"))
PY
cd /home/llama-factory-musa-profile
source env.sh
llamafactory-cli version

如果镜像未提供 musa_version_query 或 /usr/local/musa/version.json,请使用镜像实际提供的 SDK 版本查询方式。实际版本与发布矩阵不一致时,先停止训练并核对镜像标签。

6. 下一步​