跳到主要内容

TVM-MUSA M1000

TVM-MUSA M1000 是面向摩尔线程 MTT M1000(aarch64)的 TVM 发行版。它在 TVM 的编译栈中接入 MUSA backend、muDNN 算子库和 MUSA runtime,把模型编译为可在 M1000 上执行的推理模块。

TVM-MUSA M1000 以 Python wheel 形式发布,安装后 import 包名仍为 tvm。用户无需从源码编译 TVM,也无需修改模型;已有 TVM Python 工程只需切换到本发行版并选择 MUSA target。

主要能力​

  • 支持 PyTorch ExportedProgram 和 ONNX 模型经 Relax 前端导入,并使用 musa_mp22_cv pipeline 面向 M1000 / MP22 做图优化和算子分派。
  • 已接入 muDNN BYOC,覆盖 Conv、MatMul、LayerNorm、Softmax、GELU、SDPA 等常见 CV 子图;未命中专项 pattern 时回退到 TVM 通用实现。
  • 提供 MUSA runtime、relax.VirtualMachine 和 device-resident 输入执行路径,支持从模型编译到 M1000 推理的完整流程。
  • 支持将编译结果导出为 .so system library,并通过 tvm.runtime.load_module 重新加载,便于把构建阶段和部署阶段分离。

版本信息​

项目说明
tvm-musa 版本0.2.0
tvm-ffi 版本0.1.13.post4.dev1+g16e786c29
目标平台摩尔线程 MTT M1000(aarch64,MP22)
MUSA SDK5.1.x/5.2.x
Python3.10

适用范围​

本文档面向在 MTT M1000 上使用 TVM-MUSA M1000 进行模型编译、优化与部署的开发者,覆盖从模型导入、图优化到运行时执行的完整流程。当前版本重点针对 CV 类模型进行优化,同时也适用于其他能够由 Relax 前端导入并获得 MUSA backend 支持的模型。具体使用方式和约束请参见快速开始及各相关章节。

文档目录​