跳到主要内容

v2.1.7 训练框架适配说明

本文汇总 TrainingSuite v2.1.7 中可直接进入版本目录的训练框架文档,以及镜像中已确认的关键软件环境。文档入口按框架分类组织,具体命令和模型实践请进入对应子目录。

1. 已适配训练框架​

框架镜像内版本文档目录说明
MT-Megatron0.14.0MT-Megatron大模型预训练与模型并行训练
MT-DeepSpeed0.19.3+3791c4daMT-DeepSpeedZeRO、分布式训练与显存优化
MT-Slime0.3.0MT-Slime大语言模型强化学习后训练
MT-veRL0.8.0.dev0MT-veRLPPO、GRPO 等强化学习后训练
MT-TransformerEngine2.0.0+1dfcd675MT-TransformerEngineFP8 训练与 Transformer 算子优化

Llama-Factory 和 MT-ms-swift 未在 v2.1.7 镜像中确认安装,可以参考其它版本镜像。

2. 运行环境​

组件版本或状态
操作系统Ubuntu 22.04
Python3.10
GPUMTT S5000
PyTorch2.7.1.post1
torch_musa2.7.1.post1+b6d53a2
MUSA GPU 数量容器内可识别 8 张
MUSA 状态torch.musa.is_available() 为 True

3. 使用说明​

  1. 先阅读当前版本的快速开始,完成镜像启动和 MUSA 环境检查。
  2. 根据任务类型进入上表中的框架目录,阅读对应的产品介绍和实践文档。
  3. 多机训练前确认所有节点使用相同镜像、代码提交、驱动、MUSA SDK、PyTorch、torch_musa 和通信配置。
  4. 文档中的路径、节点数和并行参数是示例值,正式训练前必须替换为当前集群实际配置。