支持模型及平台

支持模型

模型分类	模型
Qwen	Qwen3-8B Qwen3-14B Qwen/Qwen2-7B Qwen2.5-7B Qwen2.5-72B-Instruct Qwen3.5-27B Qwen3.5-35B-A3B Qwen3.5-397B-A17B Qwen/Qwen3-30B-A3B Qwen3-30B-A3B-GPTQ-Int4（GPTQ Int4 量化）
Qwen-Omni	Qwen3-Omni Qwen/Qwen2.5-Omni-7B Qwen3-Omni-30B-A3B-Instruct
Qwen-VL	Qwen3-VL Qwen/Qwen2.5-VL-3B-Instruct Qwen/Qwen2-VL-7B-Instruct Qwen2.5-VL-7B-Instruct Qwen2.5-VL-72B-Instruct Qwen3-VL-8B-Instruct Qwen3-VL-30B-A3B-Instruct
GLM	chatglm2-6b glm-4-9b-chat-hf
GLM-V	GLM-4.6V-Flash
Mistral / Mixtral	mistralai/Mistral-7B-v0.1 mistralai/Mixtral-8x7B-v0.1
FLM / LFM	FLM-2-52B-Instruct-2407 LFM2-24B-A2B
Granite	ibm-granite/granite-3.0-2b-base
Olmo	Olmo-3-7B-Instruct
Nanbeige	Nanbeige4.1-3B4B
Step	Step-3.5-Flash
GPT	openai-community/gpt2
BLIP-2	Salesforce/blip2-opt-2.7b
LLaVA	llava-hf/llava-1.5-7b-hf
SmolVLM	SmolVLM2-2.2B-Instruct（需安装 num2words）
Reranker	cross-encoder/ms-marco-MiniLM-L6-v2
DeepSeek	DeepSeek-R1-Distill-Llama-70B DeepSeek-OCR
Mamba	Mamba-Coderstral-7B Mamba-Codestral-7B-v0.1
Embedding 模型	BAAI/bge-base-en-v1.5 BAAI/bge-m3 Qwen/Qwen3-Embedding-0.6B Qwen3-Embedding-8B intfloat/e5-mistral-7b-instruct
语音识别模型	openai/whisper-small（需安装 librosa） openai/whisper-large（需安装 librosa） whisper-large-v3（不要设置 --max-model-len）
QwQ	QwQ-32B-Preview
Qwen3.6 / Qwen3.8	Qwen3.6-35B-A3B（BF16、INT8） Qwen3.6-VL-35B-A3B（BF16、INT8） Qwen3.8-27B（BF16、INT8）
MiniMax	MiniMax-M2.7（W8A8 INT8）
DeepSeek V4	DeepSeek V4 Flash（W8A8 INT8）
Qwen3.5 VL	Qwen3.5-122B-A10B（BF16、VL）
语音识别模型补充	Qwen3-ASR

---

平台支持

GPU	CPU	OS	Linux kernel
MTT S4000	Intel	Ubuntu22.04.x LTS	5.15.0-105-generic

当前提供两套软件栈。MUSA SDK 是镜像内的开发套件，MUSA Driver 安装在宿主机；先执行 mthreads-gmi 确认宿主机 MUSA Driver 版本，再选择对应镜像：

MUSA SDK	宿主机 MUSA Driver（mthreads-gmi）	PyTorch	vLLM	镜像
4.3.5	3.3.5	2.9.0	0.24.1	registry.mthreads.com/presale/devtech/vllm-mt:d0930
5.2.0	5.2.0	2.11.0	0.29.1	registry.mthreads.com/presale/devtech/vllm-mt-0.29-sdk520:d0930

后续版本会逐步收敛到 5.2.0 软件栈。模型列表会持续更新，当前列表中的模型并未全部完成本版本验证。