跳到主要内容

MT-Megatron 0.19.0 产品介绍

MT-Megatron 是面向大语言模型预训练和微调的分布式训练框架。本文介绍 MT-Megatron 在 TrainingSuite v2.2.0 中的定位、核心能力、版本基线和适用场景,帮助你在准备数据和启动训练前选择正确的使用路径。

版本基线

TrainingSuite v2.2.0 使用 MT-Megatron 0.19.0、MT-TransformerEngine 2.13.0、MT-DeepSpeed 0.19.3 和 SimuMax 1.2。使用前请进入容器核对实际版本、路径和命令执行结果。

1. MT-Megatron 是什么​

MT-Megatron 提供大模型训练所需的模型定义、数据加载、分布式并行、优化器、混合精度和 checkpoint 能力。训练任务通过 torchrun 启动,并使用 Megatron 的模型和并行配置扩展到多卡及多机环境。

MT-Megatron 适合以下场景:

  • 训练 Llama、Qwen、DeepSeek 等 Transformer 或 MoE 大模型。
  • 使用 TP、PP、EP、DP、序列并行和虚拟流水线并行扩展到多卡或多机。
  • 使用 FlashAttention、激活重计算、分布式优化器和 CPU offload 降低显存压力。
  • 使用 FP8、DeepEP、通信重叠和性能分析能力优化大规模训练。

2. 与 TrainingSuite 其他组件的关系​

组件与 MT-Megatron 的关系
PyTorch / torch_musa提供 Python 训练框架和 MUSA 设备后端。
MT-TransformerEngine提供 FP8 训练和 Transformer 算子优化。
MT-DeepSpeed提供 ZeRO、AutoEP 和显存优化能力。
SimuMax在真实训练前评估显存、吞吐和并行策略。
SGLang在强化学习流程中提供 rollout 推理能力。

MT-Megatron 可以单独执行预训练和 SFT,也可以作为 MT-veRL、MT-Miles 等强化学习框架的训练后端。

3. 环境基线与安装入口​

v2.2.0 的参考环境如下:

组件参考版本
Linux Driver3.3.10
MUSA SDK4.3.10
Python3.12
PyTorch / torch_musa2.9.0.post1
Megatron-LM0.19.0
megatron-musa-titan0.1.0
TransformerEngine2.13.0
DeepSpeed0.19.3
SimuMax1.2

推荐使用 TrainingSuite v2.2.0 公网镜像。该镜像包含上述组件和相关适配,不需要单独安装 MT-Megatron。

如果当前环境缺少 MT-TransformerEngine,请从 MT-TransformerEngine 官方仓库获取源码,并在企业提供的训练环境中编译安装。MT-Megatron 会在训练期间加载适配代码。

4. 版本能力边界​

v2.2.0 新增 FP8、DeepEP、EP 通信重叠、激活卸载、RDMA 流水线通信重叠和分布式执行轨迹分析等能力。这些能力依赖对应的 Megatron、Transformer Engine、DeepEP、Mooncake 和 Titan 集成版本。

使用高级特性前,请逐节点检查训练进程的软件版本和运行环境,并使用缩小规模的模型和训练步数完成验证。详细约束见 MT-Megatron 关键特性与参数说明。

5. 文档导航​

根据当前任务选择对应页面:

6. 相关链接​