跳到主要内容

SimuMax 训练性能模拟

工具定位

SimuMax 是 LLM 分布式训练的静态分析和模拟工具,不执行真实模型训练。它根据 system、strategy 和 model 三组配置估算吞吐、MFU、显存、通信和流水线行为,不能替代 Megatron 实际训练或硬件基准测试。

1. SimuMax 是什么​

SimuMax 是面向大语言模型分布式训练的静态分析模型。它不需要启动完整的训练任务,就可以在训练前评估:

  • 每轮迭代耗时、吞吐和 MFU;
  • 分阶段显存、峰值显存和激活缓存生命周期;
  • TP、PP、EP、CP、SP、ZeRO-1、recompute 和 MLA 等并行策略;
  • 计算、通信、等待和 pipeline schedule 的时序关系;
  • 可行的 micro-batch 和并行策略组合;
  • 可导入 Perfetto 或 Chrome Tracing 的分析 trace。

SimuMax 适合在千卡任务正式启动前筛选模型、并行参数和资源需求,也可以在真实训练结果异常时帮助定位计算、通信或显存建模差异。

2. 在 TrainingSuite v2.2.0 中的定位​

SimuMax 不属于实际训练框架,它位于超大规模训练准备链路的前置评估环节。

建议按以下顺序使用:

SimuMax 静态评估
↓
确定并行策略、batch 和显存需求
↓
起飞检查与 MCCL/网络验收
↓
执行缩小规模 dry-run
↓
启动真实大规模训练

训练前先使用 SimuMax 排除明显错误的 TP/PP/EP 组合和 OOM 配置,可以减少在真实集群上反复试错的成本。SimuMax 的结果仍需要用真实训练日志、显存和通信数据校准。

3. v1.2 支持范围​

本文以 SimuMax 官方 v1.2 发布版本为参考。该版本发布于 2026 年 5 月 11 日,主要能力包括:

能力v1.2 状态
静态 perf:吞吐、MFU、阶段耗时和显存支持
Dense、MoE、TP、PP、EP、CP、SP、ZeRO-1、recompute、MLA支持
Megatron-LM 0.14 selective recompute / discard_output支持
Simulator trace 和内存快照支持
固定 global batch 下的 micro-batch 搜索支持
小范围 TP/PP 并行策略搜索支持
sync-VPPPreview,不作为完整 VPP 支持承诺
async-VPP 性能结论不属于公开支持范围

表中的“Megatron-LM 0.14 selective recompute”表示 SimuMax v1.2 对该类 discard_output 语义的建模能力,不是 TrainingSuite v2.2.0 中 MT-Megatron 的运行时版本。v2.2.0 实际使用 MT-Megatron 0.19.0,使用 recompute 建模时应核对两侧参数语义是否一致。

v1.2 的公开系统配置和基准数据主要覆盖 A100-PCIe 与 B200。仓库没有内置 MTT S5000 的公开基准结果或现成 system 配置。

4. 三组核心输入​

SimuMax 通过 system、strategy 和 model 三组 JSON 配置构建训练模型:

输入作用典型配置
SystemGPU 算力、显存带宽、机内与跨节点通信、算子效率configs/system/a100_pcie.json、configs/system/b200_bf16_ceperm.json
Strategy并行度、batch、序列长度、recompute、VPP 和精度configs/strategy/tp1_pp2_dp4_mbs1.json
Model层数、隐藏维度、Attention、MoE 和 MLA 结构configs/models/llama3-8b.json、configs/models/deepseekv2.json

三组配置必须描述同一个目标任务。例如 strategy 中的 TP/PP/EP、model 中的层数和专家数、system 中的 GPU 数或显存不一致时,模拟结果不可信。

5. 安装 SimuMax v1.2​

在训练容器或独立的 Python 环境中执行:

git clone https://github.com/MooreThreads/SimuMax.git /data/SimuMax
cd /data/SimuMax
git checkout v1.2

python3 -m venv .venv
source .venv/bin/activate
python3 -m pip install -r requirements.txt
python3 -m pip install -v -e .

验证安装:

python3 -c "import simumax; from simumax.core.perf_llm import PerfLLM; print('SimuMax import OK')"

建议使用独立的虚拟环境,避免修改 TrainingSuite 镜像内已有的 Python 依赖。

6. 运行官方快速示例​

进入示例目录并执行:

cd /data/SimuMax/examples
python3 perf_llama3_8b_tp1_pp2.py

该示例组合:

配置内容
ModelLlama3-8B dense
Strategyworld size 8、TP=1、PP=2、DP=4、MBS=1、MBN=8
SystemA100-PCIe BF16

脚本使用内置配置完成静态分析,并生成结果目录。重点检查:

compute_result.json
mem_result.json
base_info.json
model_config.json
strategy_config.json
system_config.json
net_info.json

先读取 compute_result.json 和 mem_result.json,确认吞吐、迭代耗时和峰值显存。其他配置快照用于复现同一次模拟。

7. 使用 PerfLLM API​

也可以直接在 Python 中加载配置:

from simumax.core.config import ModelConfig, StrategyConfig, SystemConfig
from simumax.core.perf_llm import PerfLLM

perf = PerfLLM()
perf.configure(
strategy_config=StrategyConfig.init_from_config_file(
"configs/strategy/tp1_pp2_dp4_mbs1.json"
),
model_config=ModelConfig.init_from_config_file(
"configs/models/llama3-8b.json"
),
system_config=SystemConfig.init_from_config_file(
"configs/system/a100_pcie.json"
),
)

perf.run_estimate()
mem_result = perf.analysis_mem()
cost_result = perf.analysis_cost()

修改模型或并行参数时,优先复制最接近的现有配置,只修改结构不同的字段。不要从空配置开始,也不要把不同机器的算子效率和网络参数混合使用。

8. 搜索 batch 和并行策略​

官方示例:

cd /data/SimuMax/examples
python3 search_strategy_llama3_8b.py

推荐先固定 global_batch_size 和并行策略,只搜索 micro_batch_size / micro_batch_num。基础配置可用后,再扩大 TP/PP 搜索空间。

gmi_error 表示每个 rank 的显存安全余量,单位为 GiB,用于预留 NCCL/MCCL buffer、分配器和运行时开销。新机器首次搜索可从 10 GiB 开始,再根据真实显存结果调整。

9. 生成 trace 和显存快照​

运行小型模拟示例:

cd /data/SimuMax/examples
python3 simulator_trace_snapshot.py --output /data/simumax_trace

主要产物:

文件用途
tracing_logs.jsonChrome trace 格式的计算、通信、等待和 pipeline 时序
simu_memory_result.json各 rank 的静态显存和峰值显存摘要
simu_memory_snapshot.json显存时间线和缓存生命周期
simu_memory_viz_snapshot.pickle显存可视化适配数据

tracing_logs.json 可以直接使用 Perfetto 或 Chrome Tracing 打开。显存产物只在当前支持的显存时间线路径下生成,例如 pp_size == 1 或同步 pipeline 路径。

10. 在 MTT S5000 上使用​

SimuMax v1.2 没有随仓库发布 MTT S5000 system 配置。直接将 A100 或 B200 配置用于 S5000,只能作为粗略草稿,不能作为吞吐或显存结论。

要得到可用于 S5000 的分析结果,至少需要:

  1. 复制最接近的 system.json;
  2. 用 mthreads-gmi 或设备信息确认每节点 GPU 数和显存;
  3. 使用 simu_tools/efficency_test 测量目标模型的主要 GEMM、grouped GEMM 和 Attention 形状;
  4. 使用 MUSA/MCCL 对应的通信测试工具测量机内和跨节点带宽、延迟;
  5. 将算子效率和通信拟合结果写回 system.json;
  6. 检查 system.miss_efficiency,确认不存在会影响计时分析的缺失项。

如果目标只是粗略判断 OOM,可以暂用近似的算子效率;如果要解释 perf、simulator 和真实训练之间的耗时差异,必须先补齐目标机器的测量数据。

11. 结果使用边界​

  • SimuMax 不执行模型 forward/backward,不生成真实 checkpoint;
  • 没有目标机器的算子效率和通信数据时,计时结果只能用于趋势比较;
  • sync-VPP 在 v1.2 中为 Preview,不能据此推断所有 VPP schedule 均已支持;
  • model、strategy 和 system 任一配置不一致,都会导致吞吐和显存结果产生偏差;
  • 正式训练前仍需执行起飞检查、缩小规模 dry-run 和真实通信验收。

12. 常见问题​

12.1 SimuMax 可以直接启动训练吗​

不能。SimuMax 根据配置静态构建计算图和通信图,输出估算结果。真实训练仍由 Megatron-LM、DeepSpeed、veRL、Miles 等训练框架完成。

12.2 使用 A100 或 B200 配置预测 S5000 是否准确​

不可以直接认为准确。A100/B200 配置可用于熟悉工具流程和做初步趋势判断;S5000 的算子效率、显存带宽和互联参数需要单独测量。

12.3 为什么显存能放下但真实训练仍然 OOM​

SimuMax 只建模已配置的显存组成部分。NCCL/MCCL buffer、框架额外缓存、碎片和运行时开销需要通过 gmi_error 或 use_reserved_memory 预留。真实训练仍应使用起飞检查和安全 batch 验证。

12.4 为什么推荐先搜索 micro-batch​

固定并行策略后,micro-batch 搜索只改变数据切分,变量更少。先确定可行 batch,再扩大 TP/PP 搜索空间,便于定位结果变化的原因。

13. 参考资料​