MT-veRL 入门
相关能力依赖 Verl 0.9.1、megatron-musa-titan 0.1.0、Megatron-LM、Megatron Bridge、SGLang-MUSA、Ray 和 MUSA 软件栈,使用前请在容器内核对实际版本。
1. MT-veRL 是什么
veRL 是面向大语言模型的强化学习后训练框架,可组合 actor、rollout、reference、critic 和 reward 等角色,并支持 Megatron、FSDP、SGLang 等训练与推理后端。
MT-veRL 是 veRL 在摩尔线程 MUSA 集群中的适配实践。v2.2.0 采用两层结构:
verl-hardware-plugin通过 veRL 插件接口注册 MUSA 平台、设备资源和训练引擎。musa_titan.rl.verl_musa在启动时安装运行时 patch,为 veRL、Megatron 和 SGLang 补充 MUSA 兼容能力。
用户无需直接修改 veRL 源码。插件层负责识别 MUSA,Titan patch 层负责处理 Torch-MUSA、Megatron 和 SGLang 的兼容细节。
2. 硬件插件
2.1 插件加载
verl-hardware-plugin 通过 Python entry point 向 veRL 注册:
[project.entry-points."verl.plugins"]
hardware = "verl_hardware_plugin"
Ray Job 的 runtime_env.yaml 显式指定外部插件和平台:
VERL_USE_EXTERNAL_MODULES: "verl_hardware_plugin"
VERL_PLATFORM: "musa"
ACCELERATOR_BACKEND: "musa"
VERL_PLATFORM=musa 指定 veRL 使用 MUSA 平台,ACCELERATOR_BACKEND=musa 选择加速器初始化路径。
2.2 PlatformMUSA
| 能力 | MUSA 实现 |
|---|---|
| 设备名称 | musa |
| 厂商标识 | moore_threads |
| PyTorch 设备模块 | torch.musa |
| 集合通信后端 | MCCL |
| 设备可见性变量 | MUSA_VISIBLE_DEVICES |
| Ray 调度资源 | GPU |
| Ray 不自动设置变量 | RAY_EXPERIMENTAL_NOSET_MUSA_VISIBLE_DEVICES |
| 进程间通信 | 支持 |
当前 Ray 使用 GPU 资源调度 MUSA 设备,但不会按 CUDA 规则重写 MUSA_VISIBLE_DEVICES。因此需要设置:
RAY_EXPERIMENTAL_NOSET_MUSA_VISIBLE_DEVICES: "1"
2.3 训练引擎
插件为 device=musa、vendor=moore_threads 注册:
- FSDP/FSDP2 语言模型引擎;
- FSDP/FSDP2 价值模型引擎;
- Megatron 语言模型引擎;
- Megatron 价值模型引擎。
训练脚本通过以下参数选择 MUSA 后端:
model_engine=megatron
trainer.device=musa
+actor_rollout_ref.rollout.engine_kwargs.sglang.device=musa
3. 环境检查与通过标准
以下检查用于确认宿主机、容器、源码和 Ray 集群满足 MT-veRL v2.2.0 的运行要求。尚未创建 set_env.sh 时,先按第 5 节完成路径配置,再返回本节执行检查。
3.1 宿主机驱动与 GPU
在每台宿主机执行:
mthreads-gmi
v2.2.0 当前环境的参考基线为:
- Linux Driver 版本为
3.3.10; - 设备状态正常,没有掉卡或通信错误;
- 每节点可见的 MUSA GPU 数量与
hostfile和训练脚本一致。
mthreads-gmi 用于检查驱动和设备状态,不能替代 MUSA SDK、torch_musa 或 Runtime 的版本检查。
3.2 MUSA SDK、Python 与训练软件
在容器内先检查 MUSA SDK:
musa_version_query
cat /usr/local/musa/version.json
musa_version_query 中的 musa_toolkits、mcc 和 musa_runtime 应与当前 TrainingSuite 镜像的 SDK 版本一致。随后检查 Python 和训练软件:
python3 - <<'PY'
import importlib.metadata
import os
import platform
import ray
import torch
import torch_musa
print("Python:", platform.python_version())
print("PyTorch:", torch.__version__)
print("torch_musa:", torch_musa.__version__)
print("Ray:", ray.__version__)
print("MUSA available:", torch.musa.is_available())
print("MUSA device count:", torch.musa.device_count())
print("MUSA_VISIBLE_DEVICES:", os.getenv("MUSA_VISIBLE_DEVICES"))
for package in ("sglang", "megatron-core", "transformer-engine"):
try:
print(f"{package}:", importlib.metadata.version(package))
except importlib.metadata.PackageNotFoundError:
print(f"{package}: not installed as a distribution")
PY
v2.2.0 的参考标准如下:
| 检查项 | 通过标准 |
|---|---|
| Python | 3.12.x |
| PyTorch | 2.9.0.post1 |
torch_musa | 2.9.0.post1 |
| Linux Driver | 3.3.10 |
| MUSA SDK / Toolkits | musa_version_query 中为 4.3.10 |
| MUSA 可用性 | torch.musa.is_available() 为 True |
| MUSA 设备数 | 与 MUSA_VISIBLE_DEVICES 和训练脚本中的每节点 GPU 数一致 |
| SGLang | 0.5.12.post1,实际值应与容器检查结果一致 |
| Verl | 0.9.1 |
| megatron-musa-titan | 0.1.0 |
| training-musa-adaptor | 2.2.0 |
| Ray | 所有节点版本一致,节点注册和 GPU 资源数正确 |
如果镜像发布记录已经更新,以该镜像对应的正式发布清单为准。不要只检查 Driver、SDK 或 PyTorch 中的某一个版本,也不能用 mthreads-gmi 报告的工具版本代替 Driver、Runtime 或 SDK 版本。
3.3 源码与插件版本
进入示例目录并加载环境文件:
cd /path/to/megatron-musa-titan/examples/rl/verl
source set_env.sh
检查运行路径对应的代码提交:
for name in MUSA_TITAN_PATH VERL_PATH MEGATRON_PATH MEGATRON_BRIDGE_PATH; do
path="${!name}"
echo "=== ${name}: ${path}"
git -C "${path}" rev-parse HEAD
git -C "${path}" status --short
done
检查 veRL 是否加载 MUSA 硬件插件:
python3 - <<'PY'
from importlib.metadata import entry_points
plugins = {entry.name: entry.value for entry in entry_points(group="verl.plugins")}
print("verl.plugins:", plugins)
assert plugins.get("hardware") == "verl_hardware_plugin"
PY
通过标准:
- 所有 Ray 节点的
MUSA_TITAN_PATH、VERL_PATH、MEGATRON_PATH和MEGATRON_BRIDGE_PATH指向相同版本的代码; git rev-parse HEAD在不同节点输出相同的提交号;git status --short没有未确认的本地修改和临时调试代码;VERL_PATH对应 Verl0.9.1,并使用团队为本次训练固定的提交,避免分支漂移;verl.plugins中包含hardware,对应值为verl_hardware_plugin。
源码未作为 Python distribution 安装时,megatron-core 或 verl 的包元数据可能显示为未安装;此时以 VERL_PATH、MEGATRON_PATH 的代码提交和实际 import 路径为准。