跳到主要内容

v2.1.6 训练框架适配说明

本文列出 TrainingSuite v2.1.6 发布资料明确涉及的训练框架,并汇总该版本的基础运行环境。文档按框架分类组织入口;具体命令和模型实践请进入对应子目录。

1. 已适配训练框架​

框架版本文档目录说明
MT-Megatron0.14.0MT-Megatron大模型预训练与模型并行训练
MT-Slime0.3.0MT-Slime大语言模型强化学习后训练
MT-veRL0.8.0.dev0MT-veRLPPO、GRPO 等强化学习后训练
MT-TransformerEngine版本未在环境表中单独列出MT-TransformerEngineTransformer 算子和 FP8 训练支持

v2.1.6 发布资料未单独列出 Llama-Factory、MT-DeepSpeed 和 MT-ms-swift,因此本版本目录不包含这三个框架。

2. 运行环境​

组件版本或状态
操作系统Ubuntu 22.04
Python3.10
GPUMTT S5000
MUSA SDK4.3.5
PyTorch2.7.1
torch_musa2.7.1
TorchVision0.22.1-musa
TorchAudio2.7.1
SGLang0.5.6.post2

3. 使用说明​

  1. 先阅读当前版本的快速开始,完成镜像启动和 MUSA 环境检查。
  2. 根据任务类型进入上表中的框架目录,阅读对应的产品介绍和实践文档。
  3. 多机训练前,请确认所有节点使用相同镜像、代码提交、驱动、MUSA SDK、PyTorch、torch_musa 和通信配置。
  4. 文档中的路径、节点数和并行参数仅为示例;正式训练前,请按当前集群实际配置替换这些值。