跳到主要内容

v2.1.5 训练框架适配说明

本文列出 TrainingSuite v2.1.5 发布资料涉及的训练框架,并汇总该版本的基础运行环境。文档按框架分类组织入口;具体命令和模型实践请进入对应子目录。

1. 已适配训练框架​

框架版本文档目录说明
MT-Megatron0.14.0MT-Megatron大模型预训练与模型并行训练
MT-DeepSpeed0.17.2MT-DeepSpeedZeRO、分布式训练与显存优化
Llama-Factory版本未单独注明Llama-Factory大模型监督微调与参数高效微调
MT-Slime0.3.0MT-Slime大语言模型强化学习后训练
MT-veRL0.8.0.dev0MT-veRLPPO、GRPO 等强化学习后训练
MT-TransformerEngine2.0.0MT-TransformerEngineTransformer 算子和 FP8 训练支持

v2.1.5 发布资料未明确列出 MT-ms-swift,因此本版本目录暂不包含 MT-ms-swift。本版本目录包含 Llama-Factory;请以镜像内实际检查结果确认其具体版本号。

2. 运行环境​

组件版本或状态
CPU 架构x86_64
操作系统Ubuntu 22.04
Python3.10
GPUMTT S5000
MUSA SDK / 软件栈MUSA SDK 4.3.5
PyTorch2.7.1
torch_musa2.7.1
TorchVision0.22.1-musa
TorchAudio2.7.1
SGLang0.5.6.post2

3. 使用说明​

  1. 先阅读当前版本的快速开始,完成镜像启动和 MUSA 环境检查。
  2. 根据任务类型进入上表中的框架目录,阅读对应的产品介绍和实践文档。
  3. 多机训练前,请确认所有节点使用相同镜像、代码提交、驱动、MUSA SDK、PyTorch、torch_musa 和通信配置。
  4. 文档中的路径、节点数和并行参数仅为示例;正式训练前,请按当前集群实际配置替换这些值。