支持模型及平台

支持模型

类型/系列	模型及精度版本
GLM	GLM-5.2-FP8, GLM-5.1-FP8
Kimi	Kimi-K2.5-FP8，Kimi-K2.6-FP8
Qwen 3	Qwen3-8B，Qwen3-14B，Qwen3-32B，Qwen3-30B-A3B，Qwen3-235B-A22B-Instruct-2507，Qwen3-Coder-480B-A35B-Instruct，Qwen3-Next-80B-A3B-Instruct （全部含 BF16 及 FP8 精度）
Qwen 3.5	Qwen3.5-0.8B，Qwen3.5-2B，Qwen3.5-4B，Qwen3.5-9B，Qwen3.5-27B（BF16/FP8），Qwen3.5-35B-A3B（BF16/FP8），Qwen3.5-122B-A10B（BF16/FP8），Qwen3.5-397B-A17B-FP8
Qwen 3.6	Qwen3.6-27B，Qwen3.6-35B-A3B
Qwen-2.5-VL-Instruct	Qwen2.5-VL-7B，Qwen2.5-VL-32B，Qwen2.5-VL-72B
Qwen-3-VL-Instruct	Qwen3-VL-2B，Qwen3-VL-4B，Qwen3-VL-8B，Qwen3-VL-32B，Qwen3-VL-30B-A3B，Qwen3-VL-235B-A22B （全部含 BF16 及 FP8 精度）
Deepseek	DeepSeek-V4-Flash-FP8，DeepSeek-V3.2
Minimax	Minimax-M3-FP8
图像生成模型	Qwen-Image，Qwen-Image-Edit
视频生成模型	Wan2.2-T2V-A14B，Wan2.2-I2V-A14B

提示

GLM-4.6, GLM-4.7, GLM-5，DeepSeek-R1，DeepSeek-V3 请使用 SGLang-MUSA v0.5.6.post3 版本。

支持平台

GPU : MTT S5000

CPU	OS
Intel/AMD	Ubuntu 22.04.4 LTS BClinux Alinux
Hygon	Ubuntu 22.04.4 LTS Kylin