NPU

NPU（Neural Processing Unit）是面向神经网络推理的专用计算单元，适合对延迟、功耗和吞吐有要求的端侧 AI 场景。MTT E300 内置 M1000 NPU，可用于视觉、语音和多模态模型推理。

在 MTT E300 上使用 NPU 时，通常基于 MTNN 软件栈完成模型转换、量化、部署和运行。

能力概览

MTT E300 的 NPU 软件栈围绕模型转换、运行推理和模型示例库展开：

• MTNN：提供面向 M1000 NPU 的模型转换、量化、Runtime API、部署运行和调试能力。
• NPU Model Zoo：提供可在 M1000 NPU 上部署的模型示例，覆盖图像分类、目标检测、图像分割和其他模型。

---

MTNN

MTNN（Moore Threads Neural Network）是一组专为摩尔线程长江 SoC（M1000）平台设计的端侧 AI 推理工具链与运行时库。它可以帮助你将训练好的深度学习模型高效部署到 M1000 设备上，充分发挥 NPU 的硬件加速能力，实现低延迟、高能效的设备端机器学习。MTNN 的工作流主要分为模型转换和运行推理两个阶段。

更多内容，参见 MTNN 文档。

---

NPU Model Zoo

m1000_npu_model_zoo 整理了可在 M1000 NPU 上部署的模型，并提供模型转换、量化和部署运行示例。你可以参考该仓库快速验证 NPU 推理链路，也可以基于示例适配自有模型。

如果你有新的模型适配，欢迎提交 PR。

图像分类

编号	模型名称	量化类型	输入形状	模型链接
001	mobilenet_v1	INT16	[1,3,224,224]	🔗
002	mobilenet_v3	INT16	[1,3,224,224]	🔗
003	vit	INT16	[1,3,224,224]	🔗
004	nsfw	UINT8	[1,3,224,224]	🔗
005	gender-cls	INT16	[1,3,224,224]	🔗
006	swin_vit	INT16	[1,3,224,224]	🔗
007	efficientnet	UINT8	[1,3,260,260]	🔗
008	deit	INT16	[1,3,224,224]	🔗
009	dino_vit	INT16	[1,3,224,224]	🔗
010	lenet	UINT8	[1,1,28,28]	🔗
011	Alexnet	UINT8	[1,3,224,224]	🔗
012	VGG	UINT8	[1,3,224,224]	🔗

目标检测

编号	模型名称	量化类型	输入形状	模型链接
001	yolov8m	static onnx	[1,3,640,640]	🔗
002	yolov8s	static onnx	[1,3,640,640]	🔗
003	yolov11m	static onnx	[1,3,640,640]	🔗
004	yolov8m-pose	static onnx	[1,3,640,640]	🔗
005	yolov8s-pose	static onnx	[1,3,640,640]	🔗
006	yolov11m-pose	static onnx	[1,3,640,640]	🔗
007	retinaface(Resnet50)	INT16	[1,3,640,640]	🔗
008	adaface(R100-WebFace12M)	INT16	[1,3,112,112]	🔗
009	yolov5s	static onnx	[1,3,640,640]	🔗
010	efficientdet-d0	INT16	[1,3,512,512]	🔗
011	faster-rcnn	UINT8	[1,3,512,512]	🔗
012	ssd	UINT8	[1,3,300,300]	🔗
013	detr	UINT8	[1,3,800,1066]	🔗
014	yolov26m	INT8 混合量化	[1,3,640,640]	🔗
015	yolov5l-classic	static onnx	[1,3,640,640]	🔗

图像分割

编号	模型名称	量化类型	输入形状	模型链接
001	deeplab_v3	INT16	[1,3,513,513]	🔗
002	Unet	INT16	[1,3,640,1280]	🔗
003	yolov8s-seg	UINT8 混合量化	[1,3,640,640]	🔗
004	yolov8m-seg	UINT8 混合量化	[1,3,640,640]	🔗
005	yolov11m-seg	UINT8 混合量化	[1,3,640,640]	🔗
006	yolov5s-seg	UINT8 混合量化	[1,3,640,640]	🔗
007	FastSAM	UINT8 混合量化	[1,3,640,640]	🔗

其他模型

编号	模型名称	量化类型	类别	输入形状	模型链接
001	mediapipe-hand	UINT8	手势识别	[1,3,256,256]	🔗
002	PP-OCRv5	INT16	文字识别	[1,3,320,320]	🔗
003	Superpoint	UINT8	关键点检测	[1,1,480,640]	🔗
004	wespeaker	INT16	说话人识别	[1,1024,80]	🔗
005	GTE	INT16	语言文本表示	int64[4,11]	🔗
006	whisper-tiny	INT16/fp16	语音识别	[1,80,3000]	🔗
008	InsightFace	UINT8	人脸检测	[1,3,640,640]	🔗
009	cutie	UINT8	视频图像分割	[1,3,480,864]	🔗

问题与反馈

如果在开发或者使用 mtnpu_model_zoo 的过程中，遇到任何 bug 或未支持的特性，请向仓库提交 issue。提交 issue 时，请给出复现问题的代码、报错 log，并打上对应标签。