MT-DeepSpeed 新特性与 AutoEP
版本与验证范围
TrainingSuite v2.2.0 镜像中的 DeepSpeed 版本为 0.19.3。
Qwen3.5 多模态训练目前只验证了 Qwen3.5-35B-A3B + LLaVA-Pretrain。
1. v2.2.0 更新概览
MT-DeepSpeed 主要新增和修复:
- 增加 Qwen3 系列 MoE 的 AutoEP 自动专家并行;
- 支持 Qwen3.5-35B-A3B 在 LLaVA-Pretrain 数据上的多模态训练;
- 修复 ZeRO-3 初始化时参数分片导致 Hugging Face 初始化未实际写入的问题;
- 适配 TrainingSuite v2.2.0 使用的 Transformers 5.16.1。
2. 版本检查
进入容器后执行:
python3 - <<'PY'
import importlib.metadata
import deepspeed
print("deepspeed module:", deepspeed.__version__)
print("deepspeed package:", importlib.metadata.version("deepspeed"))
PY
ds_report
通过标准:
- DeepSpeed 版本包含
0.19.3; - v2.2.0 容器检查结果为
0.19.3; ds_report显示 accelerator 为musa;musa_fused_adam等所需 fused op 可用;- 所有训练节点使用相同的 DeepSpeed、PyTorch、
torch_musa和 Transformers 版本。
3. Transformers 5.16.1 适配
Qwen3.5 和 AutoEP 要求 transformers>=5.2.0。TrainingSuite v2.2.0 使用 Transformers 5.16.1,并已完成结构性验证。
检查版本:
python3 - <<'PY'
import transformers
print("transformers:", transformers.__version__)
PY
注意:
- 不要执行测试目录中的
pip install -r req.txt,该文件会把 Transformers 固定回 4.57.0; - Transformers 5.16 起,
modeling_qwen3_5_moe不再提供模块级chunk_gated_delta_rule; _enable_fla_delta_rule()在检测不到该钩子时直接返回,DeltaNet 由 Transformers 自己分发;- 没有
[FLA]日志不代表失败,也不再依赖fla-core; - 更早版本仍带该钩子时,才会将 FLA kernel 赋给 DeltaNet;
ENABLE_FLA=0可强制使用 Torch 路径。
4. AutoEP 自动专家并行
AutoEP 将 MoE 专家按 EP 维度切分并常驻对应 rank,使其不参与 ZeRO-3 每一步的 all-gather。
4.1 已验证模型
| 模型 | 启动脚本 | 测试层数 | 专家配置 |
|---|---|---|---|
| Qwen3-30B-A3B | run_qwen3_30B_autoep.sh | 24 层 | 128 个专家,EP=8,每卡 16 个 |
| Qwen3.5-35B-A3B | run_qwen3_5_35b_autoep.sh | 20 层 | 256 个专家,EP=8,每卡 32 个 |
以上是当前已接入并完成验证的两个 MoE 模型。未列出的模型不因为结构接近而自动获得支持。
4.2 配置
utils/ds_utils.py 中的 get_train_ds_config(enable_autoep=True, ...) 会注入:
"expert_parallel": {
"enabled": true,
"autoep_size": 8,
"preset_model": "qwen3_moe",
"use_grouped_mm": false
}
约束:
autoep_size必须同时整除专家数和 world size;use_grouped_mm固定为false,当前环境没有torch._grouped_mm;- 修改
autoep_size后重新核对专家数、GPU 数和并行拓扑。