支持模型及平台

支持模型

模型分类	模型
Qwen	Qwen3-8B Qwen3-14B Qwen/Qwen2-7B Qwen2.5-7B Qwen2.5-72B-Instruct Qwen3.5-27B Qwen3.5-35B-A3B Qwen3.5-397B-A17B Qwen/Qwen3-30B-A3B Qwen3-30B-A3B-GPTQ-Int4（GPTQ Int4 量化）
Qwen-Omni	Qwen3-Omni Qwen/Qwen2.5-Omni-7B Qwen3-Omni-30B-A3B-Instruct
Qwen-VL	Qwen3-VL Qwen/Qwen2.5-VL-3B-Instruct Qwen/Qwen2-VL-7B-Instruct Qwen2.5-VL-7B-Instruct Qwen2.5-VL-72B-Instruct Qwen3-VL-8B-Instruct Qwen3-VL-30B-A3B-Instruct
GLM	chatglm2-6b glm-4-9b-chat-hf
GLM-V	GLM-4.6V-Flash
Mistral / Mixtral	mistralai/Mistral-7B-v0.1 mistralai/Mixtral-8x7B-v0.1
FLM / LFM	FLM-2-52B-Instruct-2407 LFM2-24B-A2B
Granite	ibm-granite/granite-3.0-2b-base
Olmo	Olmo-3-7B-Instruct
Nanbeige	Nanbeige4.1-3B4B
Step	Step-3.5-Flash
GPT	openai-community/gpt2
BLIP-2	Salesforce/blip2-opt-2.7b
LLaVA	llava-hf/llava-1.5-7b-hf
SmolVLM	SmolVLM2-2.2B-Instruct（需安装 num2words）
Reranker	cross-encoder/ms-marco-MiniLM-L6-v2
DeepSeek	DeepSeek-R1-Distill-Llama-70B DeepSeek-OCR
Mamba	Mamba-Coderstral-7B Mamba-Codestral-7B-v0.1
Embedding 模型	BAAI/bge-base-en-v1.5 BAAI/bge-m3 Qwen/Qwen3-Embedding-0.6B Qwen3-Embedding-8B intfloat/e5-mistral-7b-instruct
语音识别模型	openai/whisper-small（需安装 librosa） openai/whisper-large（需安装 librosa） whisper-large-v3（不要设置 --max-model-len）
QwQ	QwQ-32B-Preview

---

平台支持

GPU	CPU	OS	Linux kernel
MTT S4000	Intel	Ubuntu22.04.x LTS	5.15.0-105-generic