模型微调:基于DeepSpeed
1. 演练目标与架构
本节基于摩尔线程MTT S5000 GPU 完成 DeepSpeed 的微调,采用 BF16 精度。
2. 环境准备
机器信息
在 MTT S5000 上进行 DeepSpeed 微调。宿主机使用 Linux Driver 3.3.10,容器内使用 MUSA SDK 4.3.10。
使用摩尔线程预训练容器 training-suite:v2.2.0。v2.2.0 配套 MT-Megatron 0.19.0、MT-TransformerEngine 2.13.0 和 MT-DeepSpeed 0.19.3;PyTorch 与 torch_musa 版本以容器内检查结果为准。
创建并启动微调容器
# 创建容器
sudo docker create \
--privileged \
--env MTHREADS_VISIBLE_DEVICES=all \
--net host \
-v /data/:/data/ \
--name deepspeed \
registry.mthreads.com/mcconline/training-suite:v2.2.0 \
sleep infinity
# 启动并进入容器
sudo docker start deepspeed
sudo docker exec -it deepspeed bash
# 在容器里,启动ssh服务
service ssh restart