跳到主要内容

支持模型及平台

支持模型

类型/系列模型
GLMGLM-4.6(FP8) , GLM-4.7(FP8) , GLM-5(FP8) , GLM-5.1(FP8) , GLM-5.2(FP8)
KimiKimi-K2.5(FP8) ,Kimi-K2.6(FP8)
Qwen 3Qwen3-8B,Qwen3-14B,Qwen3-32B (BF16/FP8)
Qwen3-30B-A3B,Qwen3-235B-A22B,Qwen3-Coder-480B-A35B,Qwen3-Next-80B-A3B (BF16/FP8)
Qwen 3.5Qwen3.5-0.8B,Qwen3.5-2B,Qwen3.5-4B,Qwen3.5-9B,Qwen3.5-27B
Qwen3.5-35B-A3B,Qwen3.5-122B-A10B,Qwen3.5-397B-A17B (FP8)
Qwen VLQwen2.5-VL-7B,Qwen2.5-VL-32B,Qwen2.5-VL-72B (BF16)
Qwen3-VL-2B,Qwen3-VL-4B,Qwen3-VL-8B,Qwen3-VL-32B (BF16/FP8),Qwen3-VL-30B-A3B (BF16/FP8),Qwen3-VL-235B-A22B (BF16/FP8)
DeepseekDeepSeek-V3,DeepSeek-V3.2,DeepSeek-R1 (FP8) ,DeepSeek-V4-Flash (FP8)
图像生成模型Qwen-Image,Qwen-Image-Edit
视频生成模型Wan2.2-T2V-A14B,Wan2.2-I2V-A14B

支持平台

GPU : MTT S5000

CPUOS
Intel/AMDUbuntu 22.04.4 LTS
BClinux
Alinux
HygonUbuntu 22.04.4 LTS
Kylin