推理性能

性能数据参考

Qwen3.5-9B-Q4_K-GGUF

并发数	输入 Tokens	输出 Tokens	Decode(tps)	TTFT(ms)	TPOT(ms)
1	32	32	8.90	2013.98	112.39
1	128	128	8.64	4242.88	115.80
1	1024	1024	8.23	24541.95	121.57
1	3072	1024	6.85	82453.04	146.04
1	8192	1024	7.06	265272.81	141.71
2	32	32	8.71	6234.33	114.75
2	128	128	8.56	18502.18	116.83
2	1024	1024	8.24	136093.67	121.43
2	3072	1024	6.86	244975.47	145.84
2	8192	1024	7.06	587420.62	141.69