跳到主要内容

MT-Miles 入门

版本范围

TrainingSuite v2.2.0 的 MUSA Miles 适配仅支持官方 Miles v0.1.0 的源码布局。不要直接使用 Miles main、后续发布版本或开发快照替代本文说明的版本。

1. MT-Miles 是什么​

Miles 是面向大语言模型强化学习后训练的框架,使用 SGLang 执行 rollout,并通过 Megatron-LM 等训练后端更新模型参数。

MT-Miles 是 Miles 在摩尔线程 MUSA 平台上的训练适配。v2.2.0 通过 Megatron-MUSA-Titan 提供 MUSA 运行时 patch、Ray 启动环境和经过验证的训练脚本,将 Miles 的 rollout、权重更新和 Megatron 训练链路运行在 MTT S5000 集群上。

2. v2.2.0 支持范围​

v2.2.0 当前验证以下训练组合:

项目支持范围
Milesv0.1.0
模型Qwen3-30B-A3B
训练方法GRPO
训练后端Megatron-LM
Rollout 后端SGLang-MUSA
资源布局1 个 actor 节点,每节点 8 张 GPU;16 张 rollout GPU
启动入口examples/rl/miles/demo_run-qwen3-30B-A3B.sh

该验证结果不代表其他 Miles recipe、其他模型或 Miles 后续版本同样受支持。使用新模型或新参数前,应重新完成 MUSA 算子、MCCL 通信、SGLang 推理和权重同步验证。

3. 运行架构​

训练由 Ray 统一编排,主要链路如下:

Parquet prompt
↓
SGLang-MUSA rollout engine 生成 response
↓
Miles 计算 reward、GRPO advantage 和训练样本
↓
Megatron-LM 执行 actor 参数更新
↓
p2p-broadcast 将新权重同步到 rollout engine
↓
保存 checkpoint,并开始下一轮训练

Megatron-MUSA-Titan 的 sitecustomize.py 在 Miles 训练模块导入前安装 MUSA 兼容 patch。runtime_env.yaml 将 Titan、Megatron 和 Miles 放入 Ray Job 的 PYTHONPATH,并设置 MUSA、MCCL、Gloo 和 SGLang 所需的环境变量。

4. 环境基线​

所有 Ray 节点应安装并配置以下组件:

  • Linux Driver、MUSA SDK / Toolkit、torch_musa 和 MCCL;
  • MUSA 兼容的 SGLang;
  • 与示例匹配的 Megatron-LM;
  • MT-TransformerEngine;
  • Ray;
  • Miles v0.1.0;
  • Megatron-MUSA-Titan。

节点之间必须保持驱动、MUSA 软件栈、PyTorch、torch_musa、SGLang、Megatron 和 Titan 代码版本一致。模型、数据集和 checkpoint 也应使用所有节点均可访问的相同路径。

5. 获取和检查源码​

确认 MILES_PATH 指向官方 Miles v0.1.0。如果当前环境尚未提供 Miles 源码,执行:

git clone https://github.com/radixark/miles.git /path/to/miles
git -C /path/to/miles checkout v0.1.0

如需将 Miles 以 editable package 方式安装到当前 Python 环境,执行:

python3 -m pip install -e /path/to/miles --no-deps

进入 Megatron-MUSA-Titan 目录,创建本地环境文件:

cd /path/to/megatron-musa-titan
cp examples/rl/miles/set_env.sh.example examples/rl/miles/set_env.sh

set_env.sh 已被 Git 忽略,用于保存当前机器的路径和网卡配置,不要提交到仓库,也不要在其中写入账号或凭据。

6. 配置启动环境​

编辑 examples/rl/miles/set_env.sh,至少配置以下变量:

export MUSA_TITAN_PATH=/path/to/megatron-musa-titan
export MILES_PATH=/path/to/miles
export MEGATRON_PATH=/path/to/Megatron-LM
export MODEL_ARGS_SCRIPT="${MILES_PATH}/miles/utils/external_utils/model_args_utils.py"

export HF_CHECKPOINT=/path/to/Qwen3-30B-A3B
export REF_LOAD=/path/to/Qwen3-30B-A3B_miles
export SAVE_PATH=/path/to/checkpoints/Qwen3-30B_miles
export DATASET_PATH=/path/to/data

export MUSA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export MCCL_LIB=/usr/local/musa/lib/libmccl.so
export GLOO_SOCKET_IFNAME=eth0

export RUNTIME_PYTHONPATH="${MUSA_TITAN_PATH}:${MEGATRON_PATH}:${MILES_PATH}${PYTHONPATH:+:${PYTHONPATH}}"
export RAY_HEAD_IP="${RAY_HEAD_IP}" #请设置为 Ray 主节点 IP
export RAY_DASHBOARD_PORT=8972

关键约束如下:

  • 用集群实际路径替换所有 /path/to/...。
  • MUSA_TITAN_PATH 必须位于 RUNTIME_PYTHONPATH 首位。
  • MUSA_VISIBLE_DEVICES 使用当前节点实际可见的 GPU 编号。
  • GLOO_SOCKET_IFNAME 指向节点间可通信的网卡。
  • 可以把 RAY_HEAD_IP 留空,并在 examples/rl/miles/hostfile 中按行写入 Ray 节点地址;hostfile 第一行作为 head 节点。
  • Ray Dashboard 默认端口为 8972。

多节点运行时,放通 Gloo/MCCL 通信端口,并允许从 TCP 23000 开始的权重更新会合端口。

7. 检查运行时环境​

加载环境文件并检查 Miles、PyTorch 和 MUSA:

source /path/to/megatron-musa-titan/examples/rl/miles/set_env.sh
cd "$MILES_PATH"
python3 -c 'import miles, torch, torch_musa; assert torch.musa.is_available(); print(torch.musa.device_count())'

预期结果为 torch.musa.is_available() 返回 True。在每节点 8 卡的训练节点上,设备数量应为 8。

使用示例中的 head 节点检查 Ray 集群:

ray status --address="http://${RAY_HEAD_IP}:${RAY_DASHBOARD_PORT}"

确认 actor 和 rollout 所需 GPU 资源可见。如果 Ray 在容器中运行,还要确认子进程能够识别相同的 MUSA 设备和 torch_musa 环境。

8. 文档导航​