环境准备与部署

注意

注意：本指南目前只适用于 M1000 AImodule 环境，需要 AIOS 1.3.0.003 操作系统。

Step0 确认环境

确认操作系统版本

仅支持AIOS 1.3.0.003，请先和设备提供方确认系统版本。

确认 musa 环境

执行 musaInfo，输出正常则环境配置正确。

确认 musa 和 musa-sdk 的版本号

请确认已安装的 musa 和 musa-sdk 版本是否符合要求：

• musa 版本号应为：3.1.3-AB100
• musa-sdk 版本号应为：4.1.4

1) 检查 musa 版本

执行以下命令检查 musa 版本：

dpkg -s musa

输出示例（重点关注 Version 字段）：

Package: musa
Status: install ok installed
Priority: optional
Section: graphics
Installed-Size: 691846
Maintainer: Moore Threads
Architecture: arm64
Version: 3.1.3-AB100  # ← 确认此版本号
Replaces: mtsnd, mtgpu, musa-wine, musa_all-in-one, linux-firmware, musa (<< 3.0.0)
Depends: libdrm2 (>= 2.4.97), dkms
Conflicts: mtsnd, mtgpu, musa-wine, musa_all-in-one
Description: Moore Threads MUSA driver [74ceff2b9]
Homepage: https://developer.mthreads.com/

2) 检查 musa-sdk 版本

执行以下命令检查 musa-sdk 版本：

dpkg -s musa-sdk

输出示例（重点关注 Version 字段）：

Package: musa-sdk
Status: install ok installed
Priority: optional
Section: devel
Installed-Size: 13164100
Maintainer: Moore Threads
Architecture: arm64
Version: 4.1.4  # ← 确认此版本号
Depends: musa (= 3.1.3-AB100)
Description: Moore Threads MTGPU Software Development Kit
Homepage: https://developer.mthreads.com/

3) 检查结果

• ✅ 版本正确：如果 musa 版本为 3.1.3-AB100 且 musa-sdk 版本为 4.1.4，可以跳过下面的 Step1，直接进入 Step2。
• ❌ 版本不正确：如果任一版本不符合要求，请按照下面的 Step1 更新驱动。

Step1 更新驱动

信息

执行前提：只有在 Step0 中检查发现 musa 或 musa-sdk 版本不符合要求时，才需要执行本步骤。如果版本已正确，请跳过 Step1，直接进入 Step2。

安装包下载和解压

wget -c https://mt-ai-data.tos-cn-shanghai.volces.com/vllm_musa/v1.3/release_M1000_1.3.0.003/musa_m1000_release_1.3.0.003_20251223.tar.gz
# 内网链接
wget -c https://oss.mthreads.com/mt-ai-data/vllm_musa/v1.3/release_M1000_1.3.0.003/20260108/musa_m1000_release_1.3.0.003_20251223.tar.gz
tar zxvf musa_m1000_release_1.3.0.003_20251223.tar.gz
cd musa_m1000_release_1.3.0.003_20251223

安装脚本

##################### 首先卸载当前驱动 ######################
sudo dpkg -P musa-sdk
sudo dpkg -P musa # 输出 cryptsetup 的一些报错是正常的
sudo rm -rf /usr/local/musa*

#####################   安装新的驱动  ######################
sudo dpkg -i musa_3.1.3-AB100_arm64.deb
sudo dpkg -i musa-sdk_4.1.4-20251223_arm64.deb

#####################    重启电脑     ######################
sudo reboot

输出说明

提示

输出 firmware 相关的报错是正常的，可以忽略。

卸载和安装过程中可能会看到一些警告信息，如 cryptsetup: ERROR: Couldn't resolve device /dev/root 等，这些是正常的，可以忽略。

安装完成后，系统会提示需要重启：

****************************************************************************
*   WARNING: The system needs to be restarted for MUSA driver!             *
****************************************************************************

请按照提示重启系统。

Step2 下载安装包

wget https://mt-ai-data.tos-cn-shanghai.volces.com/vllm_musa/v1.3.2/release_M1000_1.3.0.003/20260414/release_1.3.0.003-vllm_musa_1.3.2-torch_2.1.1.tar.gz
tar zxvf release_1.3.0.003-vllm_musa_1.3.2-torch_2.1.1.tar.gz
cd release_1.3.0.003-vllm_musa_1.3.2-torch_2.1.1

【可选】新建 conda 环境（推荐）

# 下载 Miniforge3 (默认带 Python 3.10) for Linux-aarch64
chmod +x Miniforge3-Linux-aarch64.sh

./Miniforge3-Linux-aarch64.sh
# 安装过程中需要输入 yes， 并回车确认安装路径，默认安装路径在 /home/$User 下

source ~/.bashrc

# 创建一个 python 3.10 的环境，安装过程中需要输入 y，并回车确认
conda create -n v1.3.2 python=3.10
conda activate v1.3.2

Step3 安装 torch musa

安装脚本

# 加代理提高 pip install 速度，当前环境执行一次即可
pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

pip3 install torch-2.5.0-cp310-cp310-linux_aarch64.whl
pip3 install torch_musa-2.1.1-cp310-cp310-linux_aarch64.whl
pip3 install torchaudio-2.5.0a0+56bc006-cp310-cp310-linux_aarch64.whl
pip3 install torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

环境验证

输出 true 证明 torch_musa 环境安装正确：

python3 -c "import torch;import torch_musa;print(torch.musa.is_available())"

说明

• 输出 mudnn.so 找不到，执行：

  export PATH=/usr/local/musa/bin:${PATH}
  export LD_LIBRARY_PATH=/usr/local/musa/lib:${LD_LIBRARY_PATH}

• 输出 Error in cpuinfo: prctl(PR_SVE_GET_VL) failed 正常
• 如果 NumPy 报错，如 Failed to initialize NumPy 或者 numpy ModuleNotFoundError: No module named 'numpy'，执行 pip3 install numpy==1.26.4
• 如果报错 ImportError: libmccl.so.2: cannot open shared object file: No such file or directory，需要重装 mccl，重装后直接执行这一步。流程参考 Step1 章节
• 如果报错 MUSA driver initialization failed，设备需要连接显示器，输入用户名密码进入桌面。如果没有安全需求，推荐在"设置"->"用户"界面设置为自动登录

Step4 安装相关依赖

安装脚本

# 安装过程中需要输入 y，并回车确认
sudo apt update
sudo apt install python3-pip git cmake wget build-essential g++ libstdc++-12-dev libnuma-dev
pip3 install -r requirements.txt
pip3 install triton-3.1.0-cp310-cp310-linux_aarch64.whl --force-reinstall

Step5 安装 vllm musa

安装脚本

pip3 install vllm-0.9.2.dev260+g7264557d6.empty-py3-none-any.whl
pip3 install vllm_musa-1.3.2+m1000-cp310-cp310-linux_aarch64.whl

提示

安装vllm_musa时出现依赖冲突，不影响后续模型推理 ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. datasets 4.6.1 requires pyarrow>=21.0.0, but you have pyarrow 20.0.0 which is incompatible. vllm 0.9.2.dev259+gc2cd4356d requires numpy==1.26.1, but you have numpy 1.26.4 which is incompatible.

环境验证

没有报错证明 vllm_musa 环境安装正确：

cd /home && python3 -c "from vllm_musa import _musa_custom_ops;_musa_custom_ops.decode_mla"

正常输出如下：

Error in cpuinfo: prctl(PR_SVE_GET_VL) failed
loading torch_musa into torch.musa...

提示

如果 NumPy 报错，如 Failed to initialize NumPy 或者 numpy ModuleNotFoundError: No module named 'numpy'，执行 pip3 install numpy==1.26.4

打开性能模式（推荐,测试性能需开启）

For T035 开发板 / 天思盒子

From 命令行

性能模式

sudo powerprofilesctl set performance

平衡模式

sudo powerprofilesctl set balanced

节电模式

sudo powerprofilesctl set power-saver