跳到主要内容

MT-Transformer-vLLM用户指南

MT-Transformer(MTT)为摩尔线程自研的LLM推理引擎,vLLM是一个快速且易于使用的LLM推理和服务库,本文档将介绍MT-Transformer配合vLLM进行大模型部署的使用方法。