MT-Megatron 0.19.0 产品介绍
MT-Megatron 是面向大语言模型预训练和微调的分布式训练框架。本文介绍 MT-Megatron 在 TrainingSuite v2.2.0 中的定位、核心能力、版本基线和适用场景,帮助你在准备数据和启动训练前选择正确的使用路径。
TrainingSuite v2.2.0 使用 MT-Megatron 0.19.0、MT-TransformerEngine 2.13.0、MT-DeepSpeed 0.19.3 和 SimuMax 1.2。使用前请进入容器核对实际版本、路径和命令执行结果。
1. MT-Megatron 是什么
MT-Megatron 提供大模型训练所需的模型定义、数据加载、分布式并行、优化器、混合精度和 checkpoint 能力。训练任务通过 torchrun 启动,并使用 Megatron 的模型和并行配置扩展到多卡及多机环境。
MT-Megatron 适合以下场景:
- 训练 Llama、Qwen、DeepSeek 等 Transformer 或 MoE 大模型。
- 使用 TP、PP、EP、DP、序列并行和虚拟流水线并行扩展到多卡或多机。
- 使用 FlashAttention、激活重计算、分布式优化器和 CPU offload 降低显存压力。
- 使用 FP8、DeepEP、通信重叠和性能分析能力优化大规模训练。
2. 与 TrainingSuite 其他组件的关系
| 组件 | 与 MT-Megatron 的关系 |
|---|---|
PyTorch / torch_musa | 提供 Python 训练框架和 MUSA 设备后端。 |
| MT-TransformerEngine | 提供 FP8 训练和 Transformer 算子优化。 |
| MT-DeepSpeed | 提供 ZeRO、AutoEP 和显存优化能力。 |
| SimuMax | 在真实训练前评估显存、吞吐和并行策略。 |
| SGLang | 在强化学习流程中提供 rollout 推理能力。 |
MT-Megatron 可以单独执行预训练和 SFT,也可以作为 MT-veRL、MT-Miles 等强化学习框架的训练后端。
3. 环境基线与安装入口
v2.2.0 的参考环境如下:
| 组件 | 参考版本 |
|---|---|
| Linux Driver | 3.3.10 |
| MUSA SDK | 4.3.10 |
| Python | 3.12 |
PyTorch / torch_musa | 2.9.0.post1 |
| Megatron-LM | 0.19.0 |
| megatron-musa-titan | 0.1.0 |
| TransformerEngine | 2.13.0 |
| DeepSpeed | 0.19.3 |
| SimuMax | 1.2 |
推荐使用 TrainingSuite v2.2.0 公网镜像。该镜像包含上述组件和相关适配,不需要单独安装 MT-Megatron。
如果当前环境缺少 MT-TransformerEngine,请从 MT-TransformerEngine 官方仓库获取源码,并在企业提供的训练环境中编译安装。MT-Megatron 会在训练期间加载适配代码。
4. 版本能力边界
v2.2.0 新增 FP8、DeepEP、EP 通信重叠、激活卸载、RDMA 流水线通信重叠和分布式执行轨迹分析等能力。这些能力依赖对应的 Megatron、Transformer Engine、DeepEP、Mooncake 和 Titan 集成版本。
使用高级特性前,请逐节点检查训练进程的软件版本和运行环境,并使用缩小规模的模型和训练步数完成验证。详细约束见 MT-Megatron 关键特性与参数说明。
5. 文档导航
根据当前任务选择对应页面:
- 准备 tokenizer、二进制数据和基础训练脚本:准备 MT-Megatron 数据和训练脚本。
- 查询模型、MoE、并行、优化器和精度参数:MT-Megatron 训练参数参考。
- 理解代码模块、
ModuleSpec和 MoE 实现:MT-Megatron 代码架构与 ModuleSpec。 - 完成 Llama3-8B 单机 8 卡训练:Llama3-8B 单机训练。
- 完成 Llama3-8B 双机 16 卡训练:Llama3-8B 双机训练。
- 完成 Llama2-70B 8 节点 64 卡训练:Llama2-70B 多机训练。

