跳到主要内容

环境准备与部署

注意

注意:本指南目前只适用于 M1000 AIModule 环境,需要 AIOS 1.4.1 操作系统。

Step1 确认环境

确认操作系统版本

当前版本仅支持 AIOS 1.4.1。安装前请先与设备提供方确认设备系统版本是否为 AIOS 1.4.1。

确认 MUSA 环境

执行 musaInfo,如果可以正常输出设备信息,说明 MUSA 环境可用。

musaInfo

musaInfo 输出示例

确认 musa 和 musa-sdk 的版本号

请确认当前设备已安装的 musamusa-sdk 版本符合要求:

  • musa 版本号:5.1.1-M1000
  • musa-sdk 版本号:5.1.1

执行以下命令检查版本:

sudo dpkg -l | grep musa

正确输出示例:

ii musa 5.1.1-M1000 arm64 Moore Threads MUSA driver [e29787e05]
ii musa-sdk 5.1.1 arm64 Moore Threads MTGPU Software Development Kit

检查结果

  • 版本正确:如果 musa 版本为 5.1.1-M1000,且 musa-sdk 版本为 5.1.1,仍需执行 Step2 下载并解压离线安装包,以获取后续依赖文件;但无需重新安装 musamusa-sdk,可跳过 Step3。
  • 版本不正确:如果任一版本不符合要求,请先执行 Step2 下载安装包,再按照 Step3 更新 musamusa-sdk

Step2 下载安装包

wget https://mt-ai-data.tos-cn-shanghai.volces.com/llama.cpp-musa/llama-cpp-musa_0.0.9252+musa.b9050p3.gaf51ba0a6_arm64.deb

Step3 更新 musa 和 musa-sdk

仅当 Step1 检查发现 musamusa-sdk 版本不符合要求时,才需要执行本步骤。如果版本已正确,请跳过 Step3,继续后续环境安装。

安装脚本

##################### 首先卸载当前驱动 ######################
sudo dpkg -P musa-sdk
sudo dpkg -P musa # 输出 cryptsetup 的一些报错是正常的
sudo rm -rf /usr/local/musa*

##################### 安装新的驱动和 SDK ######################
wget https://mt-ai-data.tos-cn-shanghai.volces.com/vllm_musa/v1.4.1/release_M1000_1.4.0/0522ddk_0430sdk_mcc410/20260609_M1000_1.4.0_ddk0522_0430sdk_mcc410-vllm_musa_1.4.1-torch_2.9/musa_5.1.1-M1000_arm64.deb
wget https://mt-ai-data.tos-cn-shanghai.volces.com/vllm_musa/v1.4.1/release_M1000_1.4.0/0522ddk_0430sdk_mcc410/20260609_M1000_1.4.0_ddk0522_0430sdk_mcc410-vllm_musa_1.4.1-torch_2.9/musa-sdk_5.1.1_arm64.deb
sudo dpkg -i musa_5.1.1-M1000_arm64.deb
sudo dpkg -i musa-sdk_5.1.1_arm64.deb

##################### 重启电脑 ######################
sudo reboot

输出说明

卸载和安装过程中可能出现 cryptsetup: ERROR: Couldn't resolve device /dev/root 等警告信息,这类信息可以忽略。

安装完成后,如果系统提示需要重启,请按照提示重启系统:

****************************************************************************
* WARNING: The system needs to be restarted for MUSA driver! *
****************************************************************************

Step5 安装相关依赖

安装脚本

Llama.cpp-MUSA-M1000 构建依赖 CMake 和 GCC/G++ 工具链。需要安装 CMake,并使用 g++-12 作为 C++ 编译器。

sudo apt update
sudo apt install cmake

sudo apt install g++-12 libstdc++-12-dev

Step6 卸载旧版 Llama.cpp-MUSA-M1000

如果设备上已安装旧版 llama-cpp-musa,请先卸载旧版本:

sudo dpkg -P llama-cpp-musa

卸载完成后,执行以下命令确认 llama-cpp-musa 已不在已安装软件包列表中:

dpkg -l | grep llama-cpp-musa

如果命令没有输出,说明 llama-cpp-musa 已卸载。

Step7 安装 Llama.cpp-MUSA-M1000

安装脚本

sudo dpkg -i llama-cpp-musa_0.0.9252+musa.b9050p3.gaf51ba0a6_arm64.deb
export LD_LIBRARY_PATH=/usr/local/musa/lib:$LD_LIBRARY_PATH

环境验证

执行以下命令查看 llama-server 版本和 MUSA 设备识别情况:

llama-server --version

正常输出示例:

MUSA: found 1 device(s)
MUSA: device 0: M1000 (62.0 GB, compute 2.2, shared mem 72 KB)
MUSA: device 0: VMM supported (granularity 4096 bytes)
version: 9252 (af51ba0a6)
built with GNU 11.4.0 for Linux aarch64

打开性能模式(推荐,测试性能需开启)

For T035 开发板 / 天思盒子

From 命令行

性能模式

sudo powerprofilesctl set performance

平衡模式

sudo powerprofilesctl set balanced

节电模式

sudo powerprofilesctl set power-saver

compute_only模式

适用场景

  • 设备作为服务器运行,不需要本地图形桌面显示,希望切换为纯计算用途。
  • 需要避免 gdm3xorg 等图形进程占用设备资源,减少图形桌面对性能的影响。

设置方法

下载脚本:

wget https://mt-ai-data.tos-cn-shanghai.volces.com/llama.cpp-musa/tools/enable_compute_only.sh

开启 compute_only 模式:

sudo ./enable_compute_only.sh enable

关闭 compute_only 模式:

sudo ./enable_compute_only.sh disable

请在脚本下载目录下执行命令。脚本执行后会自动重启设备,重启完成后配置生效。