Skip to main content

GPU

GPU（Graphics Processing Unit）是面向大规模并行计算的通用加速单元，适合运行深度学习框架、计算机视觉模型和大语言模型等计算密集型任务。MTT E300 可通过 M1000 GPU 承载 PyTorch 模型推理、模型训练和大模型服务。

在 MTT E300 上使用 GPU 时，通常基于 MUSA SDK、Torch-MUSA、vLLM-MUSA 等软件栈完成开发和部署。

能力概览​

MTT E300 的 GPU 软件栈围绕 PyTorch 生态、大模型推理和模型示例库展开：

  • Torch-MUSA：提供 PyTorch 的 MUSA 后端，使 PyTorch 模型可在 MTGPU 上运行、训练、推理和迁移。
  • vLLM-MUSA：面向大语言模型推理服务，支持在不同内存规格的 MTT E300 上部署对应规模的 LLM。
  • MTGPU Model Zoo：提供基于 MTGPU 和 Torch-MUSA 的模型示例，覆盖图像分类、目标检测、分割模型和其他模型。
  • MUSA SDK：提供底层 GPU 编程、计算库、运行时、编译和调试能力，是 Torch-MUSA 与 vLLM-MUSA 的基础软件栈之一。

Torch-MUSA​

Torch-MUSA 是摩尔线程为 PyTorch 提供的 MUSA 后端。通过 Torch-MUSA，你可在保持 PyTorch 编程体验的基础上，将模型迁移到 MTGPU 上进行训练或推理。

更多关于环境准备、编译安装、快速入门、算子开发、性能优化、调试工具和代码迁移等完整内容，参见 Torch-MUSA。

vLLM-MUSA 大模型推理​

vLLM-MUSA 面向大语言模型推理场景，提供基于 MUSA 的高性能推理框架。你可使用 vLLM-MUSA 在 MTT E300 上部署和运行大模型服务。

MTT E300 不同内存规格适合的模型规模不同：

  • 16 GB：适合 7B 以内大语言模型。
  • 32 GB：适合 30B 以内大语言模型。
  • 64 GB：适合 80B 以内大语言模型。

具体安装、模型准备、服务启动和推理接口说明，参见 vLLM-MUSA-M1000 文档。

MTGPU Model Zoo​

m1000_gpu_model_zoo 演示了如何基于 MTGPU 和 Torch-MUSA 进行模型推理加速，帮助你快速验证和部署 AI 模型推理服务。

如果你有新的模型适配，欢迎提交 PR。

模型框架状态链接描述
VITPyTorch✅🔗Google Vision Transformer
NSFWPyTorch✅🔗NSFW 图像检测（基于 ViT）
Gender ClassificationPyTorch✅🔗性别分类（基于 ViT）
SWINPyTorch✅🔗分类 / 特征骨干网络（ViT）
EfficientNetPyTorch✅🔗轻量纯卷积模型（ConvNet）
DINOPyTorch✅🔗基于 DINOv2 训练的 ViT
CLIPPyTorch✅🔗OpenAI CLIP 模型
Chinese-CLIP-ViTPyTorch✅🔗中文 CLIP 模型
AlexNetONNX✅🔗ImageNet 分类
LeNetONNX✅🔗图像分类
MobileNet-V1PyTorch✅🔗边缘设备分类、检测、嵌入和分割模型
MobileNet-V3PyTorch✅🔗MobileNet V3
VGGPyTorch✅🔗图像分类 / 特征骨干网络

问题与反馈​

如果在开发或者使用 mtgpu_model_zoo 的过程中，遇到任何 bug 或未支持的特性，请向仓库提交 issue。提交 issue 时，请给出复现问题的代码、报错 log，并打上对应标签。

相关文档​

版权所有 2024 摩尔线程，本文档受国际版权法保护。

摩尔线程和摩尔线程徽标是摩尔线程智能科技 (北京)有限责任公司的注册商标。

免责声明

本文档提供有关摩尔线程产品的信息。本文档并未授权任何知识产权的许可，并未以明示或暗示，或以禁止反言或其他方式授予任何知识产权许可。