产品简介

ONNX Runtime-MUSA 是 ONNX Runtime 的硬件后端适配，使得 ONNX Runtime 可以在摩尔线程 GPU 上运行 ONNX 模型的推理任务。ONNX Runtime-MUSA 以 Execution Provider 的形式接入 MUSA 计算能力，将摩尔线程 GPU 的算子实现、显存管理和运行时调度与 ONNX Runtime 主框架解耦集成。

对外接口与 ONNX Runtime 上游 release 保持兼容，差异仅在于新增了 MUSAExecutionProvider。已有的 ONNX Runtime 工程接入时，通常只需在创建 session 时加入 MUSAExecutionProvider，模型本身无需修改。

本文档介绍服务器侧的 ONNX Runtime-MUSA 使用方式，端侧 MTT M1000 平台使用 ONNX Runtime 请参阅 ONNX Runtime-MUSA-M1000。