跳到主要内容

环境准备与部署

注意

注意：本指南目前只适用于 M1000 AImodule 环境，需要 AIOS 1.3.0.003 操作系统。

Step0 确认环境​

确认操作系统版本​

仅支持AIOS 1.3.0.003，请先和设备提供方确认系统版本。

确认 musa 环境​

执行 musaInfo，输出正常则环境配置正确。

musaInfo 输出示例

确认 musa 和 musa-sdk 的版本号​

请确认已安装的 musa 和 musa-sdk 版本是否符合要求：

  • musa 版本号应为：3.1.3-AB100
  • musa-sdk 版本号应为：4.1.4

1) 检查 musa 版本​

执行以下命令检查 musa 版本：

dpkg -s musa

输出示例（重点关注 Version 字段）：

Package: musa
Status: install ok installed
Priority: optional
Section: graphics
Installed-Size: 691846
Maintainer: Moore Threads
Architecture: arm64
Version: 3.1.3-AB100  # ← 确认此版本号
Replaces: mtsnd, mtgpu, musa-wine, musa_all-in-one, linux-firmware, musa (<< 3.0.0)
Depends: libdrm2 (>= 2.4.97), dkms
Conflicts: mtsnd, mtgpu, musa-wine, musa_all-in-one
Description: Moore Threads MUSA driver [74ceff2b9]
Homepage: https://developer.mthreads.com/

2) 检查 musa-sdk 版本​

执行以下命令检查 musa-sdk 版本：

dpkg -s musa-sdk

输出示例（重点关注 Version 字段）：

Package: musa-sdk
Status: install ok installed
Priority: optional
Section: devel
Installed-Size: 13164100
Maintainer: Moore Threads
Architecture: arm64
Version: 4.1.4  # ← 确认此版本号
Depends: musa (= 3.1.3-AB100)
Description: Moore Threads MTGPU Software Development Kit
Homepage: https://developer.mthreads.com/

3) 检查结果​

  • ✅ 版本正确：如果 musa 版本为 3.1.3-AB100 且 musa-sdk 版本为 4.1.4，可以跳过下面的 Step1，直接进入 Step2。
  • ❌ 版本不正确：如果任一版本不符合要求，请按照下面的 Step1 更新驱动。

Step1 更新驱动​

信息

执行前提：只有在 Step0 中检查发现 musa 或 musa-sdk 版本不符合要求时，才需要执行本步骤。如果版本已正确，请跳过 Step1，直接进入 Step2。

安装包下载和解压​

wget -c https://mt-ai-data.tos-cn-shanghai.volces.com/vllm_musa/v1.3/release_M1000_1.3.0.003/musa_m1000_release_1.3.0.003_20251223.tar.gz
# 内网链接
wget -c https://oss.mthreads.com/mt-ai-data/vllm_musa/v1.3/release_M1000_1.3.0.003/20260108/musa_m1000_release_1.3.0.003_20251223.tar.gz
tar zxvf musa_m1000_release_1.3.0.003_20251223.tar.gz
cd musa_m1000_release_1.3.0.003_20251223

安装脚本​

##################### 首先卸载当前驱动 ######################
sudo dpkg -P musa-sdk
sudo dpkg -P musa # 输出 cryptsetup 的一些报错是正常的
sudo rm -rf /usr/local/musa*

#####################   安装新的驱动  ######################
sudo dpkg -i musa_3.1.3-AB100_arm64.deb
sudo dpkg -i musa-sdk_4.1.4-20251223_arm64.deb

#####################    重启电脑     ######################
sudo reboot

输出说明​

提示

输出 firmware 相关的报错是正常的，可以忽略。

卸载和安装过程中可能会看到一些警告信息，如 cryptsetup: ERROR: Couldn't resolve device /dev/root 等，这些是正常的，可以忽略。

安装完成后，系统会提示需要重启：

****************************************************************************
*   WARNING: The system needs to be restarted for MUSA driver!             *
****************************************************************************

请按照提示重启系统。

Step2 下载安装包​

wget https://mt-ai-data.tos-cn-shanghai.volces.com/vllm_musa/v1.3.2/release_M1000_1.3.0.003/20260414/release_1.3.0.003-vllm_musa_1.3.2-torch_2.1.1.tar.gz
tar zxvf release_1.3.0.003-vllm_musa_1.3.2-torch_2.1.1.tar.gz
cd release_1.3.0.003-vllm_musa_1.3.2-torch_2.1.1

【可选】新建 conda 环境（推荐）​

# 下载 Miniforge3 (默认带 Python 3.10) for Linux-aarch64
chmod +x Miniforge3-Linux-aarch64.sh

./Miniforge3-Linux-aarch64.sh
# 安装过程中需要输入 yes， 并回车确认安装路径，默认安装路径在 /home/$User 下

source ~/.bashrc
 
# 创建一个 python 3.10 的环境，安装过程中需要输入 y，并回车确认
conda create -n v1.3.2 python=3.10
conda activate v1.3.2

Step3 安装 torch musa​

安装脚本​

# 加代理提高 pip install 速度，当前环境执行一次即可
pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple 

pip3 install torch-2.5.0-cp310-cp310-linux_aarch64.whl
pip3 install torch_musa-2.1.1-cp310-cp310-linux_aarch64.whl
pip3 install torchaudio-2.5.0a0+56bc006-cp310-cp310-linux_aarch64.whl
pip3 install torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

环境验证​

输出 true 证明 torch_musa 环境安装正确：

python3 -c "import torch;import torch_musa;print(torch.musa.is_available())"
说明
  • 输出 mudnn.so 找不到，执行： 
    export PATH=/usr/local/musa/bin:${PATH} 
    export LD_LIBRARY_PATH=/usr/local/musa/lib:${LD_LIBRARY_PATH}
  • 输出 Error in cpuinfo: prctl(PR_SVE_GET_VL) failed 正常
  • 如果 NumPy 报错，如 Failed to initialize NumPy 或者 numpy ModuleNotFoundError: No module named 'numpy'，执行 pip3 install numpy==1.26.4
  • 如果报错 ImportError: libmccl.so.2: cannot open shared object file: No such file or directory，需要重装 mccl，重装后直接执行这一步。流程参考 Step1 章节
  • 如果报错 MUSA driver initialization failed，设备需要连接显示器，输入用户名密码进入桌面。如果没有安全需求，推荐在"设置"->"用户"界面设置为自动登录

Step4 安装相关依赖​

安装脚本​

# 安装过程中需要输入 y，并回车确认
sudo apt update
sudo apt install python3-pip git cmake wget build-essential g++ libstdc++-12-dev libnuma-dev
pip3 install -r requirements.txt
pip3 install triton-3.1.0-cp310-cp310-linux_aarch64.whl --force-reinstall

Step5 安装 vllm musa​

安装脚本​

pip3 install vllm-0.9.2.dev260+g7264557d6.empty-py3-none-any.whl
pip3 install vllm_musa-1.3.2+m1000-cp310-cp310-linux_aarch64.whl
提示

安装vllm_musa时出现依赖冲突，不影响后续模型推理 ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. datasets 4.6.1 requires pyarrow>=21.0.0, but you have pyarrow 20.0.0 which is incompatible. vllm 0.9.2.dev259+gc2cd4356d requires numpy==1.26.1, but you have numpy 1.26.4 which is incompatible.

环境验证​

没有报错证明 vllm_musa 环境安装正确：

cd /home && python3 -c "from vllm_musa import _musa_custom_ops;_musa_custom_ops.decode_mla"

正常输出如下：

Error in cpuinfo: prctl(PR_SVE_GET_VL) failed
loading torch_musa into torch.musa...
提示

如果 NumPy 报错，如 Failed to initialize NumPy 或者 numpy ModuleNotFoundError: No module named 'numpy'，执行 pip3 install numpy==1.26.4

【可选】打开性能模式（推荐）​

For T035 开发板​

From 界面 (推荐)​

界面右上角: 电源 -> 性能

From 命令行​

首先执行 sudo su 进入 sudo 模式

模式指令
High Performance（性能模式）echo 1 > /sys/devices/system/cpu/cpu8/online
echo 1 > /sys/devices/system/cpu/cpu9/online
echo 1 > /sys/devices/system/cpu/cpu10/online
echo 1 > /sys/devices/system/cpu/cpu11/online
echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor
echo performance > /sys/devices/system/cpu/cpufreq/policy4/scaling_governor
echo performance > /sys/devices/system/cpu/cpufreq/policy8/scaling_governor
echo perf > /sys/kernel/debug/musa/gpu00/dvfs_mode
echo performance > /sys/class/thermal/thermal_zone6/perf_mode
Balance Mode（平衡模式）echo 1 > /sys/devices/system/cpu/cpu8/online
echo 1 > /sys/devices/system/cpu/cpu9/online
echo 1 > /sys/devices/system/cpu/cpu10/online
echo 1 > /sys/devices/system/cpu/cpu11/online
echo ondemand > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor
echo ondemand > /sys/devices/system/cpu/cpufreq/policy4/scaling_governor
echo ondemand > /sys/devices/system/cpu/cpufreq/policy8/scaling_governor
echo normal > /sys/kernel/debug/musa/gpu00/dvfs_mode
echo balance > /sys/class/thermal/thermal_zone6/perf_mode
Power Saving（节电模式）echo powersave > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor
echo powersave > /sys/devices/system/cpu/cpufreq/policy4/scaling_governor
echo powersave > /sys/devices/system/cpu/cpufreq/policy8/scaling_governor
echo normal > /sys/kernel/debug/musa/gpu00/dvfs_mode
echo powersave > /sys/class/thermal/thermal_zone6/perf_mode
echo 0 > /sys/devices/system/cpu/cpu8/online
echo 0 > /sys/devices/system/cpu/cpu9/online
echo 0 > /sys/devices/system/cpu/cpu10/online
echo 0 > /sys/devices/system/cpu/cpu11/online

For 天思盒子​

From 界面 (推荐)​

界面右上角: 电源 -> 性能

From 命令行​

性能模式

#!/bin/sh
sudo busybox devmem 0x280FD200 32 2650
sudo busybox devmem 0x280FD218 32 2650
sudo busybox devmem 0x280FD230 32 2650
sudo busybox devmem 0x280FD248 32 1500

非性能模式

#!/bin/sh
sudo busybox devmem 0x280FD200 32 1700
sudo busybox devmem 0x280FD218 32 1700
sudo busybox devmem 0x280FD230 32 1700
sudo busybox devmem 0x280FD248 32 730

版权所有 2024 摩尔线程，本文档受国际版权法保护。

摩尔线程和摩尔线程徽标是摩尔线程智能科技 (北京)有限责任公司的注册商标。

免责声明

本文档提供有关摩尔线程产品的信息。本文档并未授权任何知识产权的许可，并未以明示或暗示，或以禁止反言或其他方式授予任何知识产权许可。