Skip to main content

端侧 Llama.cpp-MUSA-M1000

Llama.cpp-MUSA-M1000 是 Llama.cpp 的硬件后端适配，使得 Llama.cpp 可以在摩尔线程 GPU 上运行大语言模型推理任务。Llama.cpp-MUSA-M1000 基于 ggml backend 抽象接口接入 MUSA 计算能力，将摩尔线程 GPU 的算子实现、显存管理和运行时调度与 Llama.cpp 主框架解耦集成。

借助 Llama.cpp-MUSA-M1000，Transformer 系列模型、混合专家（Mixture-of-Experts）模型以及部分多模态大语言模型，可以通过 GGUF 模型格式在摩尔线程 GPU 上运行。

版本选择​

Llama.cpp-MUSA-M1000 版本是推理软件版本；AIModule 1.4.1 是设备系统版本。请先根据设备类型和系统版本选择对应文档。

设备系统版本Llama.cpp-MUSA-M1000 版本状态文档入口
AIModuleAIOS 1.4.10.0.9171最新推荐进入文档

更多 Llama.cpp-MUSA-M1000 版本变更说明，请查看 Llama.cpp-MUSA-M1000 版本说明。

版权所有 2024 摩尔线程，本文档受国际版权法保护。

摩尔线程和摩尔线程徽标是摩尔线程智能科技 (北京)有限责任公司的注册商标。

免责声明

本文档提供有关摩尔线程产品的信息。本文档并未授权任何知识产权的许可，并未以明示或暗示，或以禁止反言或其他方式授予任何知识产权许可。