MT-Transformer-vLLM用户指南
MT-Transformer(MTT)为摩尔线程自研的LLM推理引擎,vLLM是一个快速且易于使用的LLM推理和服务库,本文档将介绍MT-Transformer配合vLLM进行大模型部署的使用方法。
MT-Transformer(MTT)为摩尔线程自研的LLM推理引擎,vLLM是一个快速且易于使用的LLM推理和服务库,本文档将介绍MT-Transformer配合vLLM进行大模型部署的使用方法。
版权所有 2024 摩尔线程,本文档受国际版权法保护。
摩尔线程和摩尔线程徽标是摩尔线程智能科技 (北京)有限责任公司的注册商标。
免责声明
本文档提供有关摩尔线程产品的信息。本文档并未授权任何知识产权的许可,并未以明示或暗示,或以禁止反言或其他方式授予任何知识产权许可。