环境准备与支持

注意：本指南目前只适用于摩尔线程 S4000 集群环境.

推荐部署的方法为 docker 容器部署，轻便快速，无需对齐环境。

环境检查

确认驱动版本, 目前后文使用的 MTT-vLLM v0.2.1-kuae1.3.0 版本镜像对应 KuaE 版本为1.3.0，对应驱动 DDK 版本为2.7.0, 对应MUSA SDK版本为rc3.1.0。本文以此组合为例。更多版本支持可以在功能与模型支持-驱动与镜像版本列表查询到：

# 1. check: Driver Version 2.7.0:
mthreads-gmi

参考输出：

(py38) root@worker101:/workspace# mthreads-gmi
Tue Dec  3 15:36:20 2024
---------------------------------------------------------------
    mthreads-gmi:1.14.0          Driver Version:2.7.0
---------------------------------------------------------------
ID   Name           |PCIe                |%GPU  Mem
     Device Type    |Pcie Lane Width     |Temp  MPC Capable
                                         |      ECC Mode
.
.
.

如果发现版本不对, 请联系相关技术支持人员。

容器准备

docker run -it --privileged \
    --net host \
    --name=vllm_mtt_test \
    -w /workspace -v /data/mtt/:/data/mtt/ \
    --env MTHREADS_VISIBLE_DEVICES=all \
    --shm-size=80g registry.mthreads.com/mcconline/mtt-vllm-public:v0.2.1-kuae1.3.0-s4000-py38 \
    /bin/bash

关键参数解释:

--name=vllm_mtt_test: 指定容器名称，不能和其他容器重名

-w /workspace:  指定工作目录

-v /data/mtt:/data/mtt/:  映射目录，前者为物理机目录，后者为容器内访问的目录，该目录可访问模型文件。该映射使得用户下载在/data/mtt路径下的模型权重文件不会因为容器销毁而丢失。

registry.mthreads.com/mcconline/mtt-vllm-public:v0.2.1-kuae1.3.0-s4000-py38: 镜像名

进入容器后验证环境：

musaInfo

参考输出：

compiler: mcc
--------------------------------------------------------------------------------
device#                           0
Name:                             MTT S4000
pciBusID:                         8
pciDeviceID:                      0
pciDomainID:                      0
.
.
.