准备 MT-Megatron 0.19.0 数据和训练脚本
本文介绍如何将文本语料转换为 MT-Megatron 可读取的 token 和二进制数据,并配置、启动和验证一个基础训练任务。完成本文后,你可以使用通用流程准备模型训练环境,再进入具体模型页面调整并行配置和启动参数。
1. 前置条件
开始前,请确认当前环境满足以下条件:
- 已完成 MT-Megatron 产品介绍中的版本检查。
- 已进入 TrainingSuite v2.2.0 容器,并能够导入
torch、torch_musa和 Megatron。 - 已准备原始文本语料和 tokenizer 文件。
- 已为原始数据、token 数据、二进制数据、checkpoint 和日志规划目录。
- 所有多机节点使用相同的镜像、代码、软件版本和共享存储路径。
检查基础环境:
python3 - <<'PY'
import torch
import torch_musa
import megatron
print("PyTorch:", torch.__version__)
print("torch_musa:", torch_musa.__version__)
print("MUSA available:", torch.musa.is_available())
print("MUSA device count:", torch.musa.device_count())
PY
预期 MUSA available 为 True,MUSA device count 与当前节点的可见 GPU 数一致。
2. 准备训练数据
Megatron 训练数据通常经过数据收集、数据清洗、tokenization 和 bin 化四个阶段。本文从 tokenization 开始。
2.1 执行 tokenization
MT-Megatron 提供 build_tokenizer 工具。进入 Megatron 工具目录,并确认 tokenizer 与模型定义一致:
cd /home/megatron-lm-musa-patch/tools
python3 build_tokenizer.py --help
使用 build_tokenizer 封装 tokenization 工具,将原始文本转换为 token 文档。具体参数以当前镜像中脚本的帮助输出为准。


2.2 转换为二进制数据
tokenization 完成后,将 token 文档转换为 Megatron 使用的 .bin 和 .idx 文件。示例脚本通过多进程并行处理数据分片:


转换完成后,确认每个数据分片都有对应的 .bin 和 .idx 文件:
ls -lh <DATA_DIR>/*_text_document.bin <DATA_DIR>/*_text_document.idx
预期每个 .bin 文件均有同名 .idx 索引文件,且文件大小不为零。

3. 配置训练脚本
可以从 MT-Megatron 的 Llama3-8B 训练脚本示例复制脚本结构,再按当前模型和数据集修改。
3.1 配置数据路径
DATA_PATH 由多组“样本数 + 数据文件前缀”组成。以下示例包含两个数据分片:
DATA_PATH="<SAMPLE_COUNT_1> <DATA_FILE_1> <SAMPLE_COUNT_2> <DATA_FILE_2>"
将 <DATA_FILE_N> 替换为不含 .bin 和 .idx 后缀的数据文件前缀。确认所有节点都可以通过相同绝对路径访问这些数据。
3.2 配置启动入口
MT-Megatron 使用 torchrun 配置单机分布式环境并建立通信组。典型的单机 8 卡入口为:
torchrun --nproc_per_node=8 <TRAIN_SCRIPT>
torchrun 负责设置进程数量、rank、master 地址和通信所需环境。训练脚本负责设置模型结构、数据路径、并行策略和优化器参数。
修改脚本后,先执行 Bash 语法检查:
bash -n <TRAIN_SCRIPT>
4. 启动基础训练
小规模验证时,减少训练步数和模型规模,先确认数据、tokenizer、checkpoint 目录和通信环境可用:
torchrun --nproc_per_node=8 <TRAIN_SCRIPT> \
--train-iters <SMALL_ITERATIONS>
多机训练时,先完成 起飞检查,再按具体模型页面配置 hostfile 和并行参数。
5. 验证训练结果
训练启动后,检查以下内容:
- 所有 rank 均完成初始化,没有进程提前退出。
- 日志中出现 loss、学习率和迭代耗时。
- loss 未出现持续 NaN 或 infinite。
- checkpoint 和日志写入所有节点均可访问的共享目录。
- 显存占用保持在设备和模型允许的范围内。
查看训练日志:
tail -f <LOG_FILE>
6. 下一步
- 阅读 MT-Megatron 训练参数参考,调整模型、MoE、并行和优化器参数。
- 阅读 Llama3-8B 单机训练,完成单机 8 卡训练。
- 阅读 Llama3-8B 双机训练,完成双机 16 卡训练。
- 阅读 Llama2-70B 多机训练,完成 8 节点 64 卡训练。

