SimuMax 训练性能模拟
SimuMax 是 LLM 分布式训练的静态分析和模拟工具,不执行真实模型训练。它根据 system、strategy 和 model 三组配置估算吞吐、MFU、显存、通信和流水线行为,不能替代 Megatron 实际训练或硬件基准测试。
1. SimuMax 是什么
SimuMax 是面向大语言模型分布式训练的静态分析模型。它不需要启动完整的训练任务,就可以在训练前评估:
- 每轮迭代耗时、吞吐和 MFU;
- 分阶段显存、峰值显存和激活缓存生命周期;
- TP、PP、EP、CP、SP、ZeRO-1、recompute 和 MLA 等并行策略;
- 计算、通信、等待和 pipeline schedule 的时序关系;
- 可行的 micro-batch 和并行策略组合;
- 可导入 Perfetto 或 Chrome Tracing 的分析 trace。
SimuMax 适合在千卡任务正式启动前筛选模型、并行参数和资源需求,也可以在真实训练结果异常时帮助定位计算、通信或显存建模差异。
2. 在 TrainingSuite v2.2.0 中的定位
SimuMax 不属于实际训练框架,它位于超大规模训练准备链路的前置评估环节。
建议按以下顺序使用:
SimuMax 静态评估
↓
确定并行策略、batch 和显存需求
↓
起飞检查与 MCCL/网络验收
↓
执行缩小规模 dry-run
↓
启动真实大规模训练
训练前先使用 SimuMax 排除明显错误的 TP/PP/EP 组合和 OOM 配置,可以减少在真实集群上反复试错的成本。SimuMax 的结果仍需要用真实训练日志、显存和通信数据校准。
3. v1.2 支持范围
本文以 SimuMax 官方 v1.2 发布版本为参考。该版本发布于 2026 年 5 月 11 日,主要能力包括:
| 能力 | v1.2 状态 |
|---|---|
静态 perf:吞吐、MFU、阶段耗时和显存 | 支持 |
| Dense、MoE、TP、PP、EP、CP、SP、ZeRO-1、recompute、MLA | 支持 |
Megatron-LM 0.14 selective recompute / discard_output | 支持 |
| Simulator trace 和内存快照 | 支持 |
| 固定 global batch 下的 micro-batch 搜索 | 支持 |
| 小范围 TP/PP 并行策略搜索 | 支持 |
| sync-VPP | Preview,不作为完整 VPP 支持承诺 |
| async-VPP 性能结论 | 不属于公开支持范围 |
表中的“Megatron-LM 0.14 selective recompute”表示 SimuMax v1.2 对该类 discard_output 语义的建模能力,不是 TrainingSuite v2.2.0 中 MT-Megatron 的运行时版本。v2.2.0 实际使用 MT-Megatron 0.19.0,使用 recompute 建模时应核对两侧参数语义是否一致。
v1.2 的公开系统配置和基准数据主要覆盖 A100-PCIe 与 B200。仓库没有内置 MTT S5000 的公开基准结果或现成 system 配置。
4. 三组核心输入
SimuMax 通过 system、strategy 和 model 三组 JSON 配置构建训练模型:
| 输入 | 作用 | 典型配置 |
|---|---|---|
| System | GPU 算力、显存带宽、机内与跨节点通信、算子效率 | configs/system/a100_pcie.json、configs/system/b200_bf16_ceperm.json |
| Strategy | 并行度、batch、序列长度、recompute、VPP 和精度 | configs/strategy/tp1_pp2_dp4_mbs1.json |
| Model | 层数、隐藏维度、Attention、MoE 和 MLA 结构 | configs/models/llama3-8b.json、configs/models/deepseekv2.json |
三组配置必须描述同一个目标任务。例如 strategy 中的 TP/PP/EP、model 中的层数和专家数、system 中的 GPU 数或显存不一致时,模拟结果不可信。
5. 安装 SimuMax v1.2
在训练容器或独立的 Python 环境中执行:
git clone https://github.com/MooreThreads/SimuMax.git /data/SimuMax
cd /data/SimuMax
git checkout v1.2
python3 -m venv .venv
source .venv/bin/activate
python3 -m pip install -r requirements.txt
python3 -m pip install -v -e .
验证安装:
python3 -c "import simumax; from simumax.core.perf_llm import PerfLLM; print('SimuMax import OK')"
建议使用独立的虚拟环境,避免修改 TrainingSuite 镜像内已有的 Python 依赖。
6. 运行官方快速示例
进入示例目录并执行:
cd /data/SimuMax/examples
python3 perf_llama3_8b_tp1_pp2.py
该示例组合:
| 配置 | 内容 |
|---|---|
| Model | Llama3-8B dense |
| Strategy | world size 8、TP=1、PP=2、DP=4、MBS=1、MBN=8 |
| System | A100-PCIe BF16 |
脚本使用内置配置完成静态分析,并生成结果目录。重点检查:
compute_result.json
mem_result.json
base_info.json
model_config.json
strategy_config.json
system_config.json
net_info.json
先读取 compute_result.json 和 mem_result.json,确认吞吐、迭代耗时和峰值显存。其他配置快照用于复现同一次模拟。
7. 使用 PerfLLM API
也可以直接在 Python 中加载配置:
from simumax.core.config import ModelConfig, StrategyConfig, SystemConfig
from simumax.core.perf_llm import PerfLLM
perf = PerfLLM()
perf.configure(
strategy_config=StrategyConfig.init_from_config_file(
"configs/strategy/tp1_pp2_dp4_mbs1.json"
),
model_config=ModelConfig.init_from_config_file(
"configs/models/llama3-8b.json"
),
system_config=SystemConfig.init_from_config_file(
"configs/system/a100_pcie.json"
),
)
perf.run_estimate()
mem_result = perf.analysis_mem()
cost_result = perf.analysis_cost()
修改模型或并行参数时,优先复制最接近的现有配置,只修改结构不同的字段。不要从空配置开始,也不要把不同机器的算子效率和网络参数混合使用。
8. 搜索 batch 和并行策略
官方示例:
cd /data/SimuMax/examples
python3 search_strategy_llama3_8b.py
推荐先固定 global_batch_size 和并行策略,只搜索 micro_batch_size / micro_batch_num。基础配置可用后,再扩大 TP/PP 搜索空间。
gmi_error 表示每个 rank 的显存安全余量,单位为 GiB,用于预留 NCCL/MCCL buffer、分配器和运行时开销。新机器首次搜索可从 10 GiB 开始,再根据真实显存结果调整。