功能与模型支持

硬件支持

AB100/AIBook算力本 （AIBook官网链接）

模型支持

• QwQ-32B-GPTQ-Int4 (w4a16)： modelscope申请链接
• DeepSeek-R1-Distill-Llama-8B (fp16)： modelscope申请链接
• DeepSeek-R1-Distill-Qwen-7B-GPTQ-Int4 (w4a16)： modelscope申请链接
• DeepSeek-R1-Distill-Qwen-14B-GPTQ-Int4 (w4a16)： modelscope申请链接
• DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int4 (w4a16)： modelscope申请链接
• DeepSeek-R1-Distill-Qwen-1.5B-GPTQ-Int4 (w4a16)： modelscope申请链接
• Qwen2.5-7B-Instruct-GPTQ-Int4： modelscope申请链接
• Qwen2.5-14B-Instruct-GPTQ-Int4： modelscope申请链接
• Qwen2.5-32B-Instruct-GPTQ-Int4： modelscope申请链接
• DeepSeek-R1-Distill-Qwen-1.5B (fp16)： modelscope申请链接
• DeepSeek-R1-Distill-Qwen-7B (fp16)： modelscope申请链接

注意

部分模型在端侧不支持，主要是内存不够造成的，包括FP16格式的DeepSeek-R1-Distill-Qwen-14B/32B，DeepSeek-R1-Distill-Llama-70B, Qwen2.5-14B/32B/72B等。