环境准备

提示

• 本文以最新版本 release vLLM-MUSA 0.7.3 为例。完整 release 列表可见驱动与镜像版本列表

注意

注意：本指南目前只适用于摩尔线程 S4000 环境.

环境检查

首先确认基础环境符合：

OS 操作系统	Ubuntu22.04.x LTS x86_64
Linux kernel 版本	5.15.0-105-generic

可通过以下命令检查：

lsb_release -a

uname -r

示例输出：

No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 22.04.4 LTS
Release:	22.04
Codename:	jammy
5.15.0-105-generic

如果版本不符预期，建议更换系统或 Kernel 到指定版本。

MUSA 软件环境检查

确认 MUSA SDK 版本与云原生套件版本符合预期，以 vLLM-MUSA 0.7.3 + MUSA SDK 4.0.0 + 云原生套件 v1.9.0 组合为例：

dpkg -s musa | grep -e Package -e Version
echo "$list"

dpkg -s mtml | grep -e Package -e Version
echo "$list"

dpkg -s sgpu-dkms | grep -e Package -e Version
echo "$list"

dpkg -s mt-container-toolkit | grep -e Package -e Version
echo "$list"

示例输出:

Package: musa
Version: 3.0.0-rc4.0.0-server

Package: mtml
Version: 1.9.2-linux

Package: sgpu-dkms
Version: 1.2.1

Package: mt-container-toolkit
Version: 1.9.0-1

如需要更换版本，有两种方法：

1. （推荐）通过MUSA-Deploy工具一键安装。
2. 通过官网下载对应软件包，然后依照文档指示通过软件管理工具（如 dpkg）安装：
   • MUSA SDK： 下载链接 | 文档链接
   • 云原生套件： 下载链接 | 文档链接

镜像下载

docker pull registry.mthreads.com/mcconline/vllm-musa-qy2-py310:v0.7.3

其他环境配置（全尺寸 Deepseek 模型）

修改 systemd 配置，如不配置，在启动全尺寸 Deepseek 模型时可能会导致出现问题 2.6: resource temporarily unavailable

编辑系统的 /etc/systemd/system.conf 文件，找到或添加 DefaultTasksMax 参数，并根据需求调整值。例如，将其设置为 70%:

DefaultTasksMax=70%

重启 systemd 配置：修改配置后，重启 systemd 以确保新配置生效。

sudo systemctl daemon-reload
sudo systemctl restart docker

如果使用 k8s 启动服务，还需修改 kubelet 配置：编辑/var/lib/kubelet/config.yaml, 找到 podPidsLimit 调大该值

podPidsLimit: 65535

重启

sudo systemctl restart kubelet