推理性能

以下推理性能数据均在打开性能模式条件下测试。

gptq-Qwen3-8B

并发数	输入 Tokens	输出 Tokens	Decode(tps)	TTFT(ms)	TPOT(ms)
1	32	32	8.33	532.38	120.01
1	128	128	8.12	715.14	123.11
1	1024	1024	7.22	3420.26	138.42
1	3072	1024	6.28	9811.73	159.34
1	8192	1024	4.81	29392.16	207.89
2	32	32	8.30	3740.32	120.48
2	128	128	8.08	13037.46	123.75
2	1024	1024	7.23	111955.89	138.26
2	3072	1024	6.26	139653.58	159.86
2	8192	1024	4.79	211981.26	208.78