起飞检查:单机与双机训练环境验证
本文用于超大规模训练任务启动前的环境验收:在 1 台或 2 台 8 卡机器上,确认宿主机驱动、GPU、机内互联、PCIe、RDMA 和 MCCL 集合通信是否可用。检查全部通过后,再扩展到多机和大规模任务,可以避免把驱动、硬件或网络问题带进正式训练。
本文只覆盖单机与双机的连通性验证,不提供吞吐量、MFU、训练耗时等性能指标,也不替代大规模集群巡检和自动隔离。
在进入真实集群验收前,可先使用 SimuMax 训练性能模拟 评估目标模型的并行策略、batch、显存和通信需求。SimuMax 只提供静态估算,不能替代本文的硬件和通信检查。
建议严格按以下顺序执行:宿主机驱动与设备基线 → 启动检查容器 → 基础状态 → 拷贝链路 → 机内互联 → 网络与 RDMA → 单机集合通信 → 双机 AllReduce。前一步失败时,先修复再继续,不要把多个层级的故障混在一起排查。
本文中的命令分为两类:标注“宿主机执行”的命令在 Docker 宿主机运行,其余命令默认在训练容器内执行。带有 <...> 的内容必须替换为当前环境的实际值。
本文使用 TrainingSuite v2.2.0。参考版本为 Linux Driver 3.3.10、MUSA SDK 4.3.10、Python 3.12、PyTorch / torch_musa 2.9.0.post1、MT-Megatron 0.19.0、MT-TransformerEngine 2.13.0、SimuMax 1.2 和 MT-DeepSpeed 0.19.3;检查结果应以容器实际输出为准。
1. 前置条件
- 每台机器 8 张 GPU,且 GPU 必须空闲。存在残留训练或推理进程时,拷贝和 MCCL 测试结果不可信。
- Docker 默认 runtime 为
mthreads,或启动容器时显式指定--runtime=mthreads。 - 本文使用 TrainingSuite v2.2.0 镜像
registry.mthreads.com/mcconline/training-suite:v2.2.0。启动前请确认当前环境可以访问该镜像仓库。 - 准备好机器管理面 IP,以及用于 MPI / RoCE 的训练网卡名称。本文示例使用
bond0,实际网卡名以机器输出为准。
2. 宿主机驱动与设备基线
在每台宿主机上、启动训练容器前完成本节检查。宿主机 GPU 型号、设备数量和驱动版本统一通过 mthreads-gmi 确认。不同 Linux 发行版的包管理器不会作为常规驱动版本检查步骤。
2.1 检查系统与架构
在宿主机执行:
cat /etc/os-release
uname -m
uname -r
记录操作系统、CPU 架构和内核版本。CPU 架构必须与后续训练容器镜像的架构一致。