跳到主要内容

准备 MT-Megatron 0.19.0 数据和训练脚本

本文介绍如何将文本语料转换为 MT-Megatron 可读取的 token 和二进制数据,并配置、启动和验证一个基础训练任务。完成本文后,你可以使用通用流程准备模型训练环境,再进入具体模型页面调整并行配置和启动参数。

1. 前置条件​

开始前,请确认当前环境满足以下条件:

  • 已完成 MT-Megatron 产品介绍中的版本检查。
  • 已进入 TrainingSuite v2.2.0 容器,并能够导入 torch、torch_musa 和 Megatron。
  • 已准备原始文本语料和 tokenizer 文件。
  • 已为原始数据、token 数据、二进制数据、checkpoint 和日志规划目录。
  • 所有多机节点使用相同的镜像、代码、软件版本和共享存储路径。

检查基础环境:

python3 - <<'PY'
import torch
import torch_musa
import megatron

print("PyTorch:", torch.__version__)
print("torch_musa:", torch_musa.__version__)
print("MUSA available:", torch.musa.is_available())
print("MUSA device count:", torch.musa.device_count())
PY

预期 MUSA available 为 True,MUSA device count 与当前节点的可见 GPU 数一致。

2. 准备训练数据​

Megatron 训练数据通常经过数据收集、数据清洗、tokenization 和 bin 化四个阶段。本文从 tokenization 开始。

2.1 执行 tokenization​

MT-Megatron 提供 build_tokenizer 工具。进入 Megatron 工具目录,并确认 tokenizer 与模型定义一致:

cd /home/megatron-lm-musa-patch/tools
python3 build_tokenizer.py --help

使用 build_tokenizer 封装 tokenization 工具,将原始文本转换为 token 文档。具体参数以当前镜像中脚本的帮助输出为准。

tokenization 输入文件和执行目录

tokenizer 工具和输出目录配置

2.2 转换为二进制数据​

tokenization 完成后,将 token 文档转换为 Megatron 使用的 .bin 和 .idx 文件。示例脚本通过多进程并行处理数据分片:

多进程数据转换脚本

数据分片和处理参数

转换完成后,确认每个数据分片都有对应的 .bin 和 .idx 文件:

ls -lh <DATA_DIR>/*_text_document.bin <DATA_DIR>/*_text_document.idx

预期每个 .bin 文件均有同名 .idx 索引文件,且文件大小不为零。

tokenization 和 bin 化完成后的输出

3. 配置训练脚本​

可以从 MT-Megatron 的 Llama3-8B 训练脚本示例复制脚本结构,再按当前模型和数据集修改。

3.1 配置数据路径​

DATA_PATH 由多组“样本数 + 数据文件前缀”组成。以下示例包含两个数据分片:

DATA_PATH="<SAMPLE_COUNT_1> <DATA_FILE_1> <SAMPLE_COUNT_2> <DATA_FILE_2>"

将 <DATA_FILE_N> 替换为不含 .bin 和 .idx 后缀的数据文件前缀。确认所有节点都可以通过相同绝对路径访问这些数据。

3.2 配置启动入口​

MT-Megatron 使用 torchrun 配置单机分布式环境并建立通信组。典型的单机 8 卡入口为:

torchrun --nproc_per_node=8 <TRAIN_SCRIPT>

torchrun 负责设置进程数量、rank、master 地址和通信所需环境。训练脚本负责设置模型结构、数据路径、并行策略和优化器参数。

修改脚本后,先执行 Bash 语法检查:

bash -n <TRAIN_SCRIPT>

4. 启动基础训练​

小规模验证时,减少训练步数和模型规模,先确认数据、tokenizer、checkpoint 目录和通信环境可用:

torchrun --nproc_per_node=8 <TRAIN_SCRIPT> \
--train-iters <SMALL_ITERATIONS>

多机训练时,先完成 起飞检查,再按具体模型页面配置 hostfile 和并行参数。

5. 验证训练结果​

训练启动后,检查以下内容:

  • 所有 rank 均完成初始化,没有进程提前退出。
  • 日志中出现 loss、学习率和迭代耗时。
  • loss 未出现持续 NaN 或 infinite。
  • checkpoint 和日志写入所有节点均可访问的共享目录。
  • 显存占用保持在设备和模型允许的范围内。

查看训练日志:

tail -f <LOG_FILE>

6. 下一步​