推理性能

模型性能数据

以下数据来自 SGLang-MUSA 0.5.18+20261101.torch2.11 在 M1000 AImodule 端侧环境的实测结果。均在性能模式 + compute_only 环境下测试，数值供参考。

测试环境

端设备：M1000 AImodule，64G 统一内存
系统版本：V1.6.0
MUSA 版本：5.3.0-M1000
服务参数：max-total-tokens=16384
文本测试并发：1
文本测试输入 / 输出：无前缀场景为 128/100、250/100、500/100、1000/100、2000/100；带 prefix 场景为 500/100、1000/100、2000/100、4000/100、8000/100、16000/100，其中 PrefillLen=250

测试说明

测试指标说明如下：

Prefill(tps)：Prefill 阶段吞吐，单位 token/s。
TTFT(ms)：首 token 延迟，单位 ms。
Decode(tps)：Decode 阶段吞吐，单位 token/s。
TPOT(ms)：单个输出 token 平均耗时，单位 ms。
Profile：测试 profile，格式为 prefill_len:input_len。
Vision(fps)：视觉编码帧率，单位 frame/s。
Precision：模型量化精度。

量化与加速选项说明

页面名称	量化方式	主要区别	适用场景
GPTQ-Int4 (W4A16)	权重 INT4，激活 FP16/BF16	标准 GPTQ checkpoint，当前官方 checkpoint 主要将 MoE expert 线性层量化为 INT4，attention、shared expert、lm_head 等保留高精度	精度优先、兼容性较好的 W4A16 基线
FQ GPTQ-Int4 (W4A16)	权重 INT4，激活 FP16/BF16	FQ 即 Full Quantization（全量化），在标准 GPTQ 基础上将 attention、shared expert 等更多线性层量化为 INT4，权重占用更低，但需结合实际精度评估	希望进一步降低权重显存、可接受重新评估精度的场景
per-channel GPTQ-Int4 (W4A16)	权重 INT4，激活 FP16/BF16	仍为 GPTQ W4A16，但量化 scale 按输出通道保存，而不是按 group 保存；checkpoint 名称通常包含 `4bit-channel`	对比 per-channel 量化精度和性能的场景
W4A8_INT8 / QQQ	权重 INT4，激活动态 INT8	QQQ 是本版本使用的 W4A8 量化方法和内核后端，启动时使用 `--quantization qqq`；性能表中写作 W4A8_INT8	追求更高吞吐的 W4A8 场景
GPTQ-Int4 + INT8 KV	权重 INT4，KV cache INT8	仅改变 KV cache 精度，不改变模型权重格式，用于降低长上下文 KV cache 占用	长上下文、KV cache 显存受限场景

补充说明：

不同量化方案应在相同模型、输入长度、并发数和输出长度下比较。
MTP、DFLASH 属于投机解码加速选项，不是量化格式；INT8 KV 属于 KV cache 精度选项，也不是权重量化格式。

性能复现流程

解压得到安装包目录：

tar -zxvf 20261030_M1000_1.6.0_sglang.tar.gz
cd 20261030_M1000_1.6.0_sglang

启动服务前先预编译 TileLang kernel；如果你已经在快速开始里执行过这一步，这里可以直接跳过：

./scripts/ci/musa/tilelang_precompile/precompile_tilelang.sh

分别启动服务并运行 benchmark。每组测试使用两个终端：启动 端运行服务，运行 benchmark 端执行对应测试。benchmark 通过 MODEL_KEY 选择对应模型配置。

启动方式和参考性能数据

Qwen3-30B-A3B-GPTQ-Int4 (MoE GPTQ，GPTQ INT4 (W4A16))

启动：

scripts/ci/musa/start_qwen3_server.sh

运行 benchmark：

MODEL_KEY=qwen3 scripts/ci/musa/run_tilelang_benchmark.sh

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3	30b_a3b	128	16	1	1	128	16	216.968	589.949	25.229	39.637	128:128	0	16
Qwen3	30b_a3b	250	16	1	1	250	16	274.63	910.315	25.128	39.797	250:250	0	16
Qwen3	30b_a3b	500	16	1	1	500	16	308.78	1619.274	24.783	40.35	500:500	0	16
Qwen3	30b_a3b	1000	16	1	1	1000	16	326.956	3058.514	24.471	40.865	1000:1000	0	16
Qwen3	30b_a3b	2000	16	1	1	2000	16	293.471	6814.984	23.621	42.336	2000:2000	0	16
Qwen3	30b_a3b	250	16	1	1	500	16	194.748	1283.707	26.236	38.116	250:500	250	16
Qwen3	30b_a3b	250	16	1	1	1000	16	189.357	1320.254	24.297	41.158	250:1000	750	16
Qwen3	30b_a3b	250	16	1	1	2000	16	162.601	1537.502	23.651	42.282	250:2000	1750	16
Qwen3	30b_a3b	250	16	1	1	4000	16	150.365	1662.626	22.081	45.289	250:4000	3750	16
Qwen3	30b_a3b	250	16	1	1	8000	16	105.106	2378.549	19.67	50.838	250:8000	7750	16
Qwen3	30b_a3b	250	16	1	1	16000	16	63.614	3929.959	16.181	61.801	250:16000	15750	16

Qwen3.5-35B-A3B

GPTQ-Int4 (W4A16)

基础性能

启动：

scripts/ci/musa/start_qwen35_server.sh

运行 benchmark：

MODEL_KEY=qwen35 scripts/ci/musa/run_tilelang_benchmark.sh

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3.5	35b_a3b	128	16	1	1	128	16	248.877	514.31	15.521	64.43	128:128	0	16
Qwen3.5	35b_a3b	250	16	1	1	250	16	261.3	956.756	15.473	64.629	250:250	0	16
Qwen3.5	35b_a3b	500	16	1	1	500	16	283.312	1764.838	15.441	64.763	500:500	0	16
Qwen3.5	35b_a3b	1000	16	1	1	1000	16	301.566	3316.027	15.424	64.833	1000:1000	0	16
Qwen3.5	35b_a3b	2000	16	1	1	2000	16	301.743	6628.148	15.382	65.011	2000:2000	0	16
Qwen3.5	35b_a3b	250	16	1	1	500	16	176.403	1417.206	15.436	64.782	250:500	250	16
Qwen3.5	35b_a3b	250	16	1	1	1000	16	184.468	1355.247	15.421	64.845	250:1000	750	16
Qwen3.5	35b_a3b	250	16	1	1	2000	16	175.232	1426.677	15.369	65.067	250:2000	1750	16
Qwen3.5	35b_a3b	250	16	1	1	4000	16	158.7	1575.295	15.121	66.131	250:4000	3750	16
Qwen3.5	35b_a3b	250	16	1	1	8000	16	163.072	1533.062	14.89	67.161	250:8000	7750	16
Qwen3.5	35b_a3b	250	16	1	1	16000	16	118.799	2104.388	14.248	70.187	250:16000	15750	16

开启 MTP 投机解码

启动：

UA_QUEUE4_PLAIN_MIN_SEQLEN=512 QWEN35_EXTRA_SERVER_ARGS="--mem-fraction-static 0.97 --speculative-algorithm NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4" scripts/ci/musa/start_qwen35_server.sh

运行 benchmark (GSM8K测试集):

MODEL_KEY=qwen35_mtp scripts/ci/musa/run_tilelang_benchmark.sh

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prompt Index	accept rate((acclen-1)/(4-1))	Prediction	Ground Truth	Correct
Qwen3.5	35b_a3b	869	1	1	869	156	267.94	3243.24	22.28	44.88	6	0.7801	64	64	TRUE
Qwen3.5	35b_a3b	855	1	1	855	116	260.11	3287.1	25.07	39.9	7	0.914	260	260	TRUE
Qwen3.5	35b_a3b	884	1	1	884	193	267.67	3302.55	23.58	42.41	8	0.8364	160	160	TRUE
Qwen3.5	35b_a3b	919	1	1	919	262	275	3341.86	23.78	42.06	9	0.8559	45	45	TRUE
Qwen3.5	35b_a3b	875	1	1	875	154	268.45	3259.42	24.65	40.57	10	0.8968	460	460	TRUE

展开剩余 10 行数据

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prompt Index	accept rate((acclen-1)/(4-1))	Prediction	Ground Truth	Correct
Qwen3.5	35b_a3b	875	1	1	875	145	268.73	3256.01	24.28	41.19	11	0.8833	366	366	TRUE
Qwen3.5	35b_a3b	879	1	1	879	182	270.13	3254	24.46	40.88	12	0.8733	694	694	TRUE
Qwen3.5	35b_a3b	882	1	1	882	180	270.4	3261.89	22.82	43.82	13	0.805	12	13	FALSE
Qwen3.5	35b_a3b	872	1	1	872	404	268.01	3253.61	24.66	40.55	14	0.8879	18	18	TRUE
Qwen3.5	35b_a3b	867	1	1	867	228	267.54	3240.6	23.96	41.74	15	0.8594	60	60	TRUE
Qwen3.5	35b_a3b	909	1	1	909	123	275.48	3299.64	24.16	41.39	16	0.8824	125	125	TRUE
Qwen3.5	35b_a3b	868	1	1	868	61	267.82	3240.93	23.94	41.77	17	0.8431	230	230	TRUE
Qwen3.5	35b_a3b	872	1	1	872	150	268.65	3245.82	25.24	39.63	18	0.9167	57500	57500	TRUE
Qwen3.5	35b_a3b	843	1	1	843	81	263.03	3204.95	21.72	46.03	19	0.7333	7	7	TRUE
Qwen3.5	35b_a3b	880	1	1	880	185	270.67	3251.21	22.64	44.18	20	0.7818	6	6	TRUE

开启 DFLASH 投机解码

启动：

scripts/ci/musa/start_qwen35_dflash_server.sh

运行 benchmark (GSM8K测试集):

MODEL_KEY=qwen35_dflash scripts/ci/musa/run_tilelang_benchmark.sh

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prediction	Ground Truth	accept len	Correct
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	54	1	1	54	176	90.94	593.78	29.94	33.41	3	3	6.519	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	85	1	1	85	535	107.16	793.18	27.99	35.73	70000	70000	6.011	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	63	1	1	63	253	101.57	620.24	39.65	25.22	540	540	8.724	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	139	1	1	139	328	123.24	1127.92	31.33	31.92	20	20	6.833	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	83	1	1	83	481	99.89	830.94	31.2	32.05	64	64	6.775	TRUE

展开剩余 27 行数据

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prediction	Ground Truth	accept len	Correct
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	69	1	1	69	322	87.77	786.11	43.88	22.79	260	260	9.758	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	98	1	1	98	392	121.57	806.15	27.79	35.99	160	160	6.031	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	132	1	1	132	575	119.39	1105.58	32.95	30.35	45	45	7.188	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	88	1	1	88	348	110.01	799.9	36.19	27.63	460	460	7.909	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	88	1	1	88	435	106.84	823.63	41.71	23.97	366	366	9.255	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	93	1	1	93	445	113.37	820.35	49.62	20.15	694	694	11.125	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	95	1	1	95	645	116.28	816.99	23.15	43.2	12	13	5	FALSE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	86	1	1	86	585	102.79	836.66	33.78	29.61	18	18	7.5	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	80	1	1	80	508	96.79	826.57	38.85	25.74	60	60	8.61	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	122	1	1	122	352	141.41	862.76	36.15	27.66	125	125	8	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	81	1	1	81	302	95.45	848.58	26.77	37.36	230	230	5.808	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	86	1	1	86	482	103.11	834.1	39.81	25.12	57500	57500	8.764	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	57	1	1	57	267	91.45	623.29	30.25	33.05	7	7	6.675	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	93	1	1	93	476	113.6	818.64	37.91	26.38	6	6	8.351	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	91	1	1	91	444	112.49	808.93	37.34	26.78	15	15	8.222	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	74	1	1	74	334	93.34	792.78	27.12	36.88	14	14	5.86	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	83	1	1	83	221	103.51	801.83	45.62	21.92	7	7	10.045	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	68	1	1	68	216	87.65	775.8	30.99	32.26	8	8	6.75	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	67	1	1	67	506	86.52	774.41	38.48	25.99	26	26	8.433	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	95	1	1	95	405	118.79	799.73	35.95	27.82	2	2	7.941	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	97	1	1	97	450	117.35	826.56	42.98	23.26	243	243	9.574	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	85	1	1	85	333	103.26	823.16	31.94	31.31	16	16	6.938	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	78	1	1	78	263	93.25	836.46	31.11	32.15	25	25	6.744	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	97	1	1	97	296	116.72	831.06	36.14	27.67	104	104	8	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	67	1	1	67	340	82.6	811.19	41.7	23.98	109	109	9.444	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	91	1	1	91	369	109	834.87	39.59	25.26	80	80	9	TRUE
Qwen3.5-35B-A3B-GPTQ-Int4	35B-A3B	69	1	1	69	231	85.25	809.39	33.01	30.29	35	35	7.452	TRUE

per-channel GPTQ-Int4 (W4A16)

基础性能

启动：

scripts/ci/musa/start_qwen35_chn_server.sh

运行 benchmark：

MODEL_KEY=qwen35_chn scripts/ci/musa/run_tilelang_benchmark.sh

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3.5_CHN	35b_a3b	128	16	1	1	128	16	262.568	487.492	23.915	41.815	128:128	0	16
Qwen3.5_CHN	35b_a3b	250	16	1	1	250	16	267.204	935.614	23.797	42.023	250:250	0	16
Qwen3.5_CHN	35b_a3b	500	16	1	1	500	16	293.92	1701.145	23.709	42.178	500:500	0	16
Qwen3.5_CHN	35b_a3b	1000	16	1	1	1000	16	313.352	3191.298	23.664	42.259	1000:1000	0	16
Qwen3.5_CHN	35b_a3b	2000	16	1	1	2000	16	313.341	6382.816	23.566	42.435	2000:2000	0	16
Qwen3.5_CHN	35b_a3b	250	16	1	1	500	16	184.788	1352.902	23.731	42.139	250:500	250	16
Qwen3.5_CHN	35b_a3b	250	16	1	1	1000	16	191.602	1304.785	23.683	42.224	250:1000	750	16
Qwen3.5_CHN	35b_a3b	250	16	1	1	2000	16	181.95	1374.002	23.586	42.398	250:2000	1750	16
Qwen3.5_CHN	35b_a3b	250	16	1	1	4000	16	162.952	1534.198	23.094	43.301	250:4000	3750	16
Qwen3.5_CHN	35b_a3b	250	16	1	1	8000	16	168.812	1480.94	22.386	44.67	250:8000	7750	16
Qwen3.5_CHN	35b_a3b	250	16	1	1	16000	16	121.609	2055.773	21.096	47.403	250:16000	15750	16

开启 DFLASH 投机解码

启动：

scripts/ci/musa/start_qwen35_chn_dflash_server.sh

运行 benchmark (GSM8K 前 15 条):

MODEL_KEY=qwen35_chn_dflash GSM8K_DFLASH_MAX_SAMPLES=15 GSM8K_DFLASH_NUM_PROMPTS=15 scripts/ci/musa/run_tilelang_benchmark.sh

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prompt Index	Prediction	Ground Truth	accept len	Correct
Qwen3.5_CHN+dflash	35B-A3B	54	1	1	54	179	129.3	417.62	29.67	33.71	1	3	3	5.774	TRUE
Qwen3.5_CHN+dflash	35B-A3B	85	1	1	85	589	132.98	639.2	31.96	31.29	2	70000	70000	6.2	TRUE
Qwen3.5_CHN+dflash	35B-A3B	63	1	1	63	311	159.37	395.31	34.33	29.13	3	540	540	6.761	TRUE
Qwen3.5_CHN+dflash	35B-A3B	139	1	1	139	288	139.1	999.29	37.34	26.78	4	20	20	7.385	TRUE
Qwen3.5_CHN+dflash	35B-A3B	83	1	1	83	463	128.22	647.32	30.64	32.64	5	64	64	5.936	TRUE

展开剩余 10 行数据

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prompt Index	Prediction	Ground Truth	accept len	Correct
Qwen3.5_CHN+dflash	35B-A3B	69	1	1	69	324	106.18	649.81	50.4	19.84	6	260	260	10.125	TRUE
Qwen3.5_CHN+dflash	35B-A3B	98	1	1	98	489	154.47	634.43	30.61	32.67	7	160	160	6.037	TRUE
Qwen3.5_CHN+dflash	35B-A3B	132	1	1	132	608	130.78	1009.31	31.12	32.13	8	45	45	6.08	TRUE
Qwen3.5_CHN+dflash	35B-A3B	88	1	1	88	373	137.53	639.85	38.57	25.93	9	460	460	7.612	TRUE
Qwen3.5_CHN+dflash	35B-A3B	88	1	1	88	447	136.65	644	46.8	21.37	10	366	366	9.312	TRUE
Qwen3.5_CHN+dflash	35B-A3B	93	1	1	93	458	144.35	644.25	53.75	18.6	11	694	694	10.905	TRUE
Qwen3.5_CHN+dflash	35B-A3B	95	1	1	95	2077	149.57	635.16	21.27	47.02	12	12	13	4.213	FALSE
Qwen3.5_CHN+dflash	35B-A3B	86	1	1	86	617	132.29	650.09	32.15	31.1	13	18	18	6.361	TRUE
Qwen3.5_CHN+dflash	35B-A3B	80	1	1	80	613	124.29	643.65	39.23	25.49	14	60	60	7.859	TRUE
Qwen3.5_CHN+dflash	35B-A3B	122	1	1	122	414	197.61	617.38	39.91	25.06	15	125	125	7.962	TRUE

Qwen3.6-35B-A3B

FQ GPTQ-Int4 (W4A16)

基础性能

启动：

MODEL_PATH=~/models/release/gptq-Qwen3.6-35B-A3B-4bit-channel-lmhead ./scripts/ci/musa/start_qwen36_chn_server.sh

运行 benchmark：

MODEL_KEY=qwen36_fq scripts/ci/musa/run_tilelang_benchmark.sh

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	MeasuredOutput(tokens)
Qwen3.6_FQ	35b_a3b	128	16	1	1	128	100	323.875	395.214	39.54	25.291	128:128	100
Qwen3.6_FQ	35b_a3b	256	16	1	1	256	100	403.554	634.364	39.604	25.25	256:256	100
Qwen3.6_FQ	35b_a3b	512	16	1	1	512	100	455.372	1124.354	39.96	25.025	512:512	100
Qwen3.6_FQ	35b_a3b	1024	16	1	1	1024	100	511.618	2001.494	39.71	25.183	1024:1024	100
Qwen3.6_FQ	35b_a3b	4096	16	1	1	4096	100	482.435	8490.269	38.612	25.899	4096:4096	100
Qwen3.6_FQ	35b_a3b	8192	16	1	1	8192	100	359.917	22760.82	37.321	26.795	8192:8192	100

开启 DFLASH 投机解码

启动：

scripts/ci/musa/start_qwen36_fq_dflash_server.sh

运行 benchmark (GSM8K测试集):

MODEL_KEY=qwen36_fq_dflash scripts/ci/musa/run_tilelang_benchmark.sh

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prompt Index	Prediction	Ground Truth	accept len	Correct
Qwen3.6_FQ+dflash	35B-A3B	54	1	1	54	245	96.33	560.57	38.99	25.65	1	3	3	7.903	TRUE
Qwen3.6_FQ+dflash	35B-A3B	85	1	1	85	603	107.21	792.86	29.02	34.46	2	70000	70000	5.854	TRUE
Qwen3.6_FQ+dflash	35B-A3B	63	1	1	63	235	109.62	574.73	30.41	32.89	3	540	540	6.184	TRUE
Qwen3.6_FQ+dflash	35B-A3B	139	1	1	139	322	111.1	1251.1	36.71	27.24	4	20	20	7.488	TRUE
Qwen3.6_FQ+dflash	35B-A3B	83	1	1	83	461	96.71	858.23	27.51	36.35	5	64	64	5.554	TRUE

展开剩余 27 行数据

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prompt Index	Prediction	Ground Truth	accept len	Correct
Qwen3.6_FQ+dflash	35B-A3B	69	1	1	69	276	80.77	854.31	48.95	20.43	6	260	260	10.222	TRUE
Qwen3.6_FQ+dflash	35B-A3B	98	1	1	98	560	118.97	823.77	31.26	31.99	7	160	160	6.437	TRUE
Qwen3.6_FQ+dflash	35B-A3B	132	1	1	132	675	106.13	1243.75	33.5	29.85	8	45	45	6.888	TRUE
Qwen3.6_FQ+dflash	35B-A3B	88	1	1	88	396	103.46	850.61	34.79	28.75	9	460	460	7.071	TRUE
Qwen3.6_FQ+dflash	35B-A3B	88	1	1	88	381	105.12	837.1	44.59	22.42	10	366	366	9.293	TRUE
Qwen3.6_FQ+dflash	35B-A3B	93	1	1	93	499	112.86	824.01	52.9	18.9	11	694	694	11.089	TRUE
Qwen3.6_FQ+dflash	35B-A3B	95	1	1	95	501	117.54	808.23	25.77	38.8	12	12	13	5.219	FALSE
Qwen3.6_FQ+dflash	35B-A3B	86	1	1	86	668	102.53	838.79	37.4	26.74	13	18	18	7.859	TRUE
Qwen3.6_FQ+dflash	35B-A3B	80	1	1	80	512	96.85	826	41.87	23.88	14	60	60	8.678	TRUE
Qwen3.6_FQ+dflash	35B-A3B	122	1	1	122	341	149.03	818.61	42.61	23.47	15	125	125	8.744	TRUE
Qwen3.6_FQ+dflash	35B-A3B	81	1	1	81	351	96.71	837.55	33.9	29.49	16	230	230	6.882	TRUE
Qwen3.6_FQ+dflash	35B-A3B	86	1	1	86	387	104.57	822.38	43.32	23.09	17	57500	57500	9	TRUE
Qwen3.6_FQ+dflash	35B-A3B	57	1	1	57	229	97.7	583.41	36.17	27.65	18	7	7	7.387	TRUE
Qwen3.6_FQ+dflash	35B-A3B	93	1	1	93	474	113.98	815.96	41.16	24.29	19	6	6	8.464	TRUE
Qwen3.6_FQ+dflash	35B-A3B	91	1	1	91	485	111.97	812.75	34.79	28.74	20	15	15	7.132	TRUE
Qwen3.6_FQ+dflash	35B-A3B	74	1	1	74	262	90.75	815.44	32.12	31.13	21	14	14	6.55	TRUE
Qwen3.6_FQ+dflash	35B-A3B	83	1	1	83	202	101.53	817.53	42.47	23.54	22	7	7	8.783	TRUE
Qwen3.6_FQ+dflash	35B-A3B	68	1	1	68	222	82.59	823.3	41.76	23.95	23	8	8	8.538	TRUE
Qwen3.6_FQ+dflash	35B-A3B	67	1	1	67	458	80.98	827.36	37.81	26.45	24	26	26	7.763	TRUE
Qwen3.6_FQ+dflash	35B-A3B	95	1	1	95	414	118.06	804.7	36.94	27.07	25	2	2	7.667	TRUE
Qwen3.6_FQ+dflash	35B-A3B	97	1	1	97	630	120.04	808.04	43.56	22.96	26	243	243	9.13	TRUE
Qwen3.6_FQ+dflash	35B-A3B	85	1	1	85	359	104.37	814.4	39.17	25.53	27	16	16	7.978	TRUE
Qwen3.6_FQ+dflash	35B-A3B	78	1	1	78	373	94.26	827.53	36.44	27.44	28	25	25	7.46	TRUE
Qwen3.6_FQ+dflash	35B-A3B	97	1	1	97	289	118.82	816.33	42.42	23.57	29	104	104	8.758	TRUE
Qwen3.6_FQ+dflash	35B-A3B	67	1	1	67	400	81.15	825.68	44.16	22.64	30	109	109	9.302	TRUE
Qwen3.6_FQ+dflash	35B-A3B	91	1	1	91	349	110.22	825.61	34.58	28.92	31	80	80	7.271	TRUE
Qwen3.6_FQ+dflash	35B-A3B	69	1	1	69	268	84.42	817.36	40.96	24.41	32	35	35	8.375	TRUE

Qwen3-VL-8B (VLM GPTQ，GPTQ INT4 (W4A16))

启动：

scripts/ci/musa/start_qwen3vl_server.sh

运行 benchmark：

MODEL_KEY=qwen3vl scripts/ci/musa/run_tilelang_benchmark.sh

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3VL	8b	128	16	1	1	128	16	98.507	1299.406	13.765	72.646	128:128	0	16
Qwen3VL	8b	250	16	1	1	250	16	168.553	1483.209	13.647	73.275	250:250	0	16
Qwen3VL	8b	500	16	1	1	500	16	260.118	1922.203	13.351	74.902	500:500	0	16
Qwen3VL	8b	1000	16	1	1	1000	16	334.676	2987.963	12.759	78.375	1000:1000	0	16
Qwen3VL	8b	2000	16	1	1	2000	16	295.113	6777.063	11.801	84.738	2000:2000	0	16
Qwen3VL	8b	250	16	1	1	500	16	124.345	2010.541	14.004	71.409	250:500	250	16
Qwen3VL	8b	250	16	1	1	1000	16	121.525	2057.185	12.415	80.547	250:1000	750	16
Qwen3VL	8b	250	16	1	1	2000	16	112.91	2214.147	11.716	85.357	250:2000	1750	16
Qwen3VL	8b	250	16	1	1	4000	16	117.599	2125.869	10.657	93.833	250:4000	3750	16
Qwen3VL	8b	250	16	1	1	8000	16	93.773	2666.002	8.993	111.194	250:8000	7750	16
Qwen3VL	8b	250	16	1	1	16000	16	66.215	3775.569	6.814	146.746	250:16000	15750	16

Model	Size	PrefillLen(k)	Ctx(k)	Batch	NChip	Input(k)	Output(k)	Prefill(tps)	Decode(tps)	Precision
Qwen3-VL	8B	0.25	16	1	1	0.25	0.05	167.715	13.406	w4a16
Qwen3-VL	8B	0.25	16	1	1	0.5	0.05	133.033	13.17	w4a16
Qwen3-VL	8B	0.25	16	1	1	1	0.05	123.808	12.64	w4a16
Qwen3-VL	8B	0.25	16	1	1	2	0.05	112.443	11.496	w4a16
Qwen3-VL	8B	0.25	16	1	1	4	0.05	118.677	10.461	w4a16
Qwen3-VL	8B	0.25	16	1	1	8	0.05	94.4	8.856	w4a16
Qwen3-VL	8B	0.25	16	1	1	16	0.05	66.274	6.836	w4a16

Qwen-Image 2.1 Turbo (2048x2048)

启动：

scripts/ci/musa/start_qwen_image_21_turbo_server.sh

准备 Judge 模型（首次运行执行一次）：

modelscope download --model Qwen/Qwen-Image-Bench --local_dir ~/models/release/Qwen-Image-Bench

python3 scripts/ci/musa/reshard_safetensors.py --src ~/models/release/Qwen-Image-Bench --dst ~/models/release/Qwen-Image-Bench-reshard --max-shard-size 2GiB

运行 benchmark：

MODEL_KEY=qwen_image21 QWEN_IMAGE_BENCH_NUM_PROMPTS=5 QWEN_IMAGE_BENCH_JUDGE_MODEL_PATH=~/models/release/Qwen-Image-Bench-reshard scripts/ci/musa/run_tilelang_benchmark.sh

Model	Resolution	Steps	Batch	NChip	Image Index	Gen(s)	Judge(s)	Quality	Aesthetics	Alignment	Real-world Fidelity	Creative Generation	Total	Missing
Qwen-Image-2.1-Turbo	2048x2048	8	1	1	1	400.1	1144.67	60.00	60.00	55.60	N/A	N/A	58.53	-
Qwen-Image-2.1-Turbo	2048x2048	8	1	1	2	401.0	1157.37	56.67	60.00	54.00	N/A	N/A	56.89	-
Qwen-Image-2.1-Turbo	2048x2048	8	1	1	3	400.3	1595.48	43.33	60.00	60.00	50.00	N/A	53.33	-
Qwen-Image-2.1-Turbo	2048x2048	8	1	1	4	402.1	2147.86	43.33	60.00	56.00	53.33	N/A	53.17	-
Qwen-Image-2.1-Turbo	2048x2048	8	1	1	5	402.4	2395.07	50.00	50.00	59.33	46.67	N/A	51.50	-

模型性能数据​

测试环境​

测试说明​

量化与加速选项说明​

性能复现流程​

启动方式和参考性能数据​

Qwen3-30B-A3B-GPTQ-Int4 (MoE GPTQ，GPTQ INT4 (W4A16))​

Qwen3.5-35B-A3B​

GPTQ-Int4 (W4A16)​

基础性能​

开启 MTP 投机解码​

开启 DFLASH 投机解码​

per-channel GPTQ-Int4 (W4A16)​

基础性能​

开启 DFLASH 投机解码​

Qwen3.6-35B-A3B​

FQ GPTQ-Int4 (W4A16)​

基础性能​

开启 DFLASH 投机解码​

Qwen3-VL-8B (VLM GPTQ，GPTQ INT4 (W4A16))​

Qwen-Image 2.1 Turbo (2048x2048)​

这篇文章对您有帮助吗？

模型性能数据

测试环境

测试说明

量化与加速选项说明

性能复现流程

启动方式和参考性能数据

Qwen3-30B-A3B-GPTQ-Int4 (MoE GPTQ，GPTQ INT4 (W4A16))

Qwen3.5-35B-A3B

GPTQ-Int4 (W4A16)

基础性能

开启 MTP 投机解码

开启 DFLASH 投机解码

per-channel GPTQ-Int4 (W4A16)

基础性能

开启 DFLASH 投机解码

Qwen3.6-35B-A3B

FQ GPTQ-Int4 (W4A16)

基础性能

开启 DFLASH 投机解码

Qwen3-VL-8B (VLM GPTQ，GPTQ INT4 (W4A16))

Qwen-Image 2.1 Turbo (2048x2048)