环境准备与部署

注意

注意：本指南目前只适用于 M1000 AImodule 环境。安装前请确认设备系统、驱动和软件栈版本与待发布的软件包版本匹配。

步骤1：确认环境

确认操作系统版本

仅支持 AIOS 1.4.1，请先和设备提供方确认设备是否为 AIOS 1.4.1。

确认 MUSA 环境

执行 musaInfo，输出正常则环境配置正确。

确认 MUSA 和 MUSA SDK 的版本号

请确认已安装的 MUSA 和 MUSA SDK 版本是否符合要求：

• musa 版本号应为：5.1.1-M1000
• musa-sdk 版本号应为：5.1.1

执行以下命令检查版本：

sudo dpkg -l | grep musa

正确输出如下：

ii  musa                                       5.1.1-M1000                              arm64        Moore Threads MUSA driver [e29787e05]
ii  musa-sdk                                   5.1.1                                    arm64        Moore Threads MTGPU Software Development Kit

检查结果

• ✅ 版本正确：如果 MUSA 版本为 5.1.1-M1000 且 MUSA SDK 版本为 5.1.1，仍需执行 步骤2 下载并解压离线安装包以获取后续依赖文件，但无需重新安装 MUSA 和 MUSA SDK，可跳过 步骤3。
• ❌ 版本不正确：如果任一版本不符合要求，请先执行 步骤2 下载安装包，再按照 步骤3 更新 MUSA 和 MUSA SDK。

步骤2：相关依赖包

请访问 https://developer.mthreads.com/sdk/download/soc?equipment=MTT+E300&os=Ubuntu+22.04&driverVersion=&version=1.4.1 下载 SGLang-MUSA-M1000-M1000_1.4.1_sglang.tar.gz，并解压得到安装包目录：

tar -zxvf SGLang-MUSA-M1000-M1000_1.4.1_sglang.tar.gz
cd 20260718_M1000_1.4.1_sglang/

解压后目录中包含以下文件：

组件	版本	安装包
MUSA	5.1.1	musa_5.1.1-M1000_arm64.deb
MUSA SDK	5.1.1	musa-sdk_5.1.1_arm64.deb
Triton MUSA	3.2.0	triton-3.2.0-cp310-cp310-linux_aarch64.whl
Torch	2.9.0	torch-2.9.0-cp310-cp310-linux_aarch64.whl
Torch MUSA	2.9.0	torch_musa-2.9.0-cp310-cp310-linux_aarch64.whl
TorchAudio	2.9.0+eaa9e4e	torchaudio-2.9.0+eaa9e4e-cp310-cp310-linux_aarch64.whl
TorchVision	0.22.1+e98278b	torchvision-0.22.1+e98278b-cp310-cp310-linux_aarch64.whl
Torch C DLPack Ext	0.1.5	torch_c_dlpack_ext-0.1.5-cp310-cp310-manylinux_2_24_aarch64.manylinux_2_28_aarch64.whl
TileLang MUSA	0.1.6.post2+musa.3	tilelang_musa-0.1.6.post2+musa.3-cp38-abi3-linux_aarch64.whl
MATE	0.2.0+mu510torch2.9	mate-0.2.0+mu510torch2.9-cp310-cp310-linux_aarch64.whl
Apache TVM FFI	0.1.9.post3.dev0+musa.1.gf6b52d7f4.d20260703	apache_tvm_ffi-0.1.9.post3.dev0+musa.1.gf6b52d7f4.d20260703-cp310-cp310-manylinux_2_24_aarch64.manylinux_2_28_aarch64.whl
SGLang Kernel	0.4.1.dev20260630	sglang_kernel-0.4.1.dev20260630-cp39-abi3-linux_aarch64.whl
SGLang	0.5.10+20260630	sglang-0.5.10+20260630-py3-none-any.whl
SGLang M1000 benchmark 脚本	-	scripts/
conda 依赖	-	environment.yml

步骤3：系统环境配置

1. 卸载当前驱动

sudo dpkg -P musa-sdk
sudo dpkg -P musa # 输出 cryptsetup 的一些报错是正常的
sudo rm -rf /usr/local/musa*

2. 安装新的驱动和软件栈

sudo dpkg -i musa_5.1.1-M1000_arm64.deb
sudo dpkg -i musa-sdk_5.1.1_arm64.deb

安装完成后重启设备：

sudo reboot

3. 确认 MUSA 环境

执行 musaInfo，输出正常则环境配置正确。

如果提示找不到命令，可以先补充环境变量后再次验证：

export PATH=/usr/local/musa/bin:${PATH}
export LD_LIBRARY_PATH=/usr/local/musa/lib:${LD_LIBRARY_PATH}
musaInfo

步骤4：Python 环境配置

推荐使用独立 conda 环境：

conda create -n sglang-py310 python=3.10 -y
conda activate sglang-py310

pip install --upgrade pip

安装 Torch、Torch MUSA 及相关 pip 依赖：

pip install torch-2.9.0-cp310-cp310-linux_aarch64.whl
pip install torch_musa-2.9.0-cp310-cp310-linux_aarch64.whl
pip install torchvision-0.22.1+e98278b-cp310-cp310-linux_aarch64.whl
pip install torchaudio-2.9.0+eaa9e4e-cp310-cp310-linux_aarch64.whl
pip install triton-3.2.0-cp310-cp310-linux_aarch64.whl
pip install torch_c_dlpack_ext-0.1.5-cp310-cp310-manylinux_2_24_aarch64.manylinux_2_28_aarch64.whl

环境验证

输出 true 证明 Torch MUSA 环境安装正确：

python3 -c "import torch; import torch_musa; print(torch.musa.is_available())" 2>/dev/null

步骤5：从安装包安装 SGLang

在解压后的安装包目录中安装 TileLang MUSA、MATE、Apache TVM FFI、SGLang Kernel 和 SGLang：

pip install tilelang_musa-0.1.6.post2+musa.3-cp38-abi3-linux_aarch64.whl
pip install "mate-0.2.0+mu510torch2.9-cp310-cp310-linux_aarch64.whl"
pip install apache_tvm_ffi-0.1.9.post3.dev0+musa.1.gf6b52d7f4.d20260703-cp310-cp310-manylinux_2_24_aarch64.manylinux_2_28_aarch64.whl
pip install sglang_kernel-0.4.1.dev20260630-cp39-abi3-linux_aarch64.whl
pip install --no-deps "sglang-0.5.10+20260630-py3-none-any.whl"

Conda 安装其他依赖：

conda env update -f environment.yml

步骤6：安装验证

pip list | grep sglang

输出示例：

sglang                    0.5.10+20260630
sglang-kernel             0.4.1.dev20260630