支持模型列表
llama.cpp-musa 当前主要针对 Q4_K 量化类型进行性能优化，推荐优先选择 Q4_K 格式模型。除 MUSA 相关运行参数外，模型启动和推理使用方式尽量与原生 llama.cpp 保持兼容。
| 模型类别 | 模型名称 | 模型链接 |
|---|---|---|
| Qwen3.5 | Qwen3.5-9B-Q4_K.gguf | https://www.modelscope.cn/models/zenbit/Qwen3.5-9B-Q4_K-GGUF |
| Qwen3.6 | Qwen3.6-35B-A3B-Q4_K.gguf | https://www.modelscope.cn/models/zenbit/Qwen3.6-35B-A3B-Q4_K-GGUF |
| Qwen3.6 ViT | mmproj-Qwen3.6-35B-A3B-BF16.gguf | https://www.modelscope.cn/models/zenbit/mmproj-Qwen3.6-35B-A3B-BF16-GGUF |
| Qwen3.5 | Qwen3.5-4B-Q4_K | https://www.modelscope.cn/zenbit/Qwen3.5-4B-Q4_K_PURE |
| Embedding | Qwen3-Embedding-0.6B-f16.gguf | https://modelscope.cn/models/zenbit/Qwen3-Embedding-0.6B-f16 |
mmproj-Qwen3.6-35B-A3B-BF16.gguf 为 Qwen3.6-35B-A3B-Q4_K.gguf 开启多模态时需指定的 ViT 模型。
