支持模型及平台
支持模型
| 类型/系列 | 模型及精度版本 |
|---|---|
| GLM | GLM-5.3-FP8, GLM-5.2-FP8, GLM-5.1-FP8 |
| Deepseek | DeepSeek-V4-Flash-0731-FP8 |
| Qwen 3 | Qwen3-8B，Qwen3-14B，Qwen3-32B，Qwen3-30B-A3B，Qwen3-235B-A22B-Instruct-2507，Qwen3-Coder-480B-A35B-Instruct，Qwen3-Next-80B-A3B-Instruct （全部含 BF16 及 FP8 精度） |
| Qwen 3.5 | Qwen3.5-0.8B，Qwen3.5-2B，Qwen3.5-4B，Qwen3.5-9B，Qwen3.5-27B（BF16/FP8），Qwen3.5-35B-A3B（BF16/FP8），Qwen3.5-122B-A10B（BF16/FP8），Qwen3.5-397B-A17B-FP8 |
| Qwen 3.6 | Qwen3.6-27B（BF16/FP8），Qwen3.6-35B-A3B（BF16/FP8） |
| Qwen 3.8 | Qwen3.8-27B（BF16/FP8） |
| Qwen-2.5-VL-Instruct | Qwen2.5-VL-7B，Qwen2.5-VL-32B，Qwen2.5-VL-72B |
| Qwen-3-VL-Instruct | Qwen3-VL-2B，Qwen3-VL-4B，Qwen3-VL-8B，Qwen3-VL-32B，Qwen3-VL-30B-A3B，Qwen3-VL-235B-A22B （全部含 BF16 及 FP8 精度） |
| 其他语言模型 | Kimi-K2.6-FP8，Minimax-M3-FP8，Gemma-4-26B |
| 文本嵌入&排序 | Qwen-Embedding-0.6/4/8B，Qwen-Reranker-0.6/4/8B |
| 图像生成模型 | Qwen-Image，Qwen-Image-2512，Qwen-Image-Edit，Qwen-Image-Edit-2509，Qwen-Image-Edit-2511 |
| 视频生成模型 | Minimax-H3，Wan2.2-T2V-A14B，Wan2.2-I2V-A14B |
提示
GLM-4.6、GLM-4.7、GLM-5、DeepSeek-R1、DeepSeek-V3、DeepSeek-V3.2 请使用 SGLang-MUSA v0.5.6.post3 版本。
支持平台
GPU : MTT S5000
| CPU | OS |
|---|---|
| Intel/AMD | Ubuntu 22.04.4 LTS BClinux Alinux |
| Hygon | Ubuntu 22.04.4 LTS Kylin |
