使用 MT-Megatron 0.19.0 训练 Llama3-8B
1. 演练目标与架构
本节基于单机8卡MTT S5000完成LLaMA3-8B模型的完整训练闭环,基于FP8混合精度,覆盖从容器部署到模型产出的全链路操作。
开始前,请先阅读 准备 MT-Megatron 数据和训练脚本和 MT-Megatron 训练参数参考。
本节基于单机8卡MTT S5000完成LLaMA3-8B模型的完整训练闭环,基于FP8混合精度,覆盖从容器部署到模型产出的全链路操作。
开始前,请先阅读 准备 MT-Megatron 数据和训练脚本和 MT-Megatron 训练参数参考。