推理性能

模型性能数据

以下数据来自 SGLang-MUSA 0.5.10+20260803 在 M1000 AImodule 端侧环境的实测结果。均在性能模式 + compute_only 环境下测试，数值供参考。

测试环境

• 端设备：M1000 AImodule，64G 统一内存
• 系统版本：V1.4.1
• MUSA 版本：5.1.1
• 服务参数：max-total-tokens=16384
• 文本测试并发：1
• 文本测试输入 / 输出：无前缀场景为 128/100、250/100、500/100、1000/100、2000/100；带 prefix 场景为 500/100、1000/100、2000/100、4000/100、8000/100、16000/100，其中 PrefillLen=250

测试说明

测试指标说明如下：

• Prefill(tps)：Prefill 阶段吞吐，单位 token/s。
• TTFT(ms)：首 token 延迟，单位 ms。
• Decode(tps)：Decode 阶段吞吐，单位 token/s。
• TPOT(ms)：单个输出 token 平均耗时，单位 ms。
• Profile：测试 profile，格式为 prefill_len:input_len。
• Vision(fps)：视觉编码帧率，单位 frame/s。
• Precision：模型量化精度。

性能复现流程

解压得到安装包目录：

tar -zxvf SGLang-MUSA-M1000-M1000_1.4.1_sglang.tar.gz
cd 20260803_M1000_1.4.1_sglang

修改 scripts/ci/musa/tilelang_workflow_config.json 中的模型路径为实际路径，比如：

"model_paths": [
    "/home/dev/models/Qwen3-30B-A3B-GPTQ-Int4",
    "/home/dev/models/Qwen3.5-35B-A3B-GPTQ-Int4"
  ]

生成工作流配置并加载环境变量，预编译 TileLang kernel；如果你已经在 快速开始 里执行过这一步，这里可以直接跳过：

scripts/ci/musa/generate_tilelang_workflow.sh
source scripts/ci/musa/setup_env.sh
scripts/ci/musa/precompile_tilelang_kernels.sh

分别启动服务并运行 benchmark。每组测试使用两个终端：启动 端运行服务，运行 benchmark 端执行对应测试。benchmark 通过 MODEL_KEY 选择对应模型配置。

Qwen3-30B-A3B-GPTQ-Int4 (MoE GPTQ，GPTQ INT4 (W4A16))

启动：

scripts/ci/musa/start_qwen3_server.sh

运行 benchmark：

MODEL_KEY=qwen3 scripts/ci/musa/run_tilelang_benchmark.sh

Qwen3.5-35B-A3B-GPTQ-Int4 (MoE GPTQ，GPTQ INT4 (W4A16))

启动：

scripts/ci/musa/start_qwen35_server.sh

运行 benchmark：

MODEL_KEY=qwen35 scripts/ci/musa/run_tilelang_benchmark.sh

Qwen3.5-35B-A3B-GPTQ-Int4 (MoE GPTQ，GPTQ INT4 (W4A16)) 开启 MTP 投机解码

启动：

SGLANG_USE_TL_MOE_GROUPED_GEMM=0 QWEN35_EXTRA_SERVER_ARGS="--speculative-algorithm NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4" scripts/ci/musa/start_qwen35_server.sh

运行 benchmark：

MODEL_KEY=qwen35_mtp scripts/ci/musa/run_tilelang_benchmark.sh

Qwen3.5_FQ-35B-A3B (MoE GPTQ，GPTQ INT4 (W4A16))

启动：

scripts/ci/musa/start_qwen35_fq_server.sh

运行 benchmark：

MODEL_KEY=qwen35_fq scripts/ci/musa/run_tilelang_benchmark.sh

Qwen3.5_FQ-35B-A3B(MoE GPTQ，GPTQ INT4 (W4A16)) 开启 MTP 投机解码

启动：

SGLANG_USE_TL_MOE_GROUPED_GEMM=0 QWEN35_FQ_EXTRA_SERVER_ARGS="--speculative-algorithm NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4" scripts/ci/musa/start_qwen35_fq_server.sh

运行 benchmark：

MODEL_KEY=qwen35_fq_mtp scripts/ci/musa/run_tilelang_benchmark.sh

Qwen3.6_FQ-35B-A3B (MoE GPTQ，GPTQ INT4 (W4A16))

启动：

scripts/ci/musa/start_qwen36_fq_server.sh

运行 benchmark：

MODEL_KEY=qwen36_fq scripts/ci/musa/run_tilelang_benchmark.sh

Qwen3-VL-8B (VLM GPTQ，GPTQ INT4 (W4A16))

启动：

scripts/ci/musa/start_qwen3vl_server.sh

运行 benchmark：

MODEL_KEY=qwen3vl scripts/ci/musa/run_tilelang_benchmark.sh

参考性能数据

Qwen3-30B-A3B-GPTQ-Int4 (MoE GPTQ，GPTQ INT4(W4A16))

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3	30b_a3b	128	16	1	1	128	100	64.606	1981.228	24.531	40.765	128:128	0	100
Qwen3	30b_a3b	250	16	1	1	250	100	94.731	2639.041	23.965	41.728	250:250	0	100
Qwen3	30b_a3b	500	16	1	1	500	100	144.382	3463.043	23.311	42.898	500:500	0	100
Qwen3	30b_a3b	1000	16	1	1	1000	100	191.371	5225.453	23.028	43.426	1000:1000	0	100
Qwen3	30b_a3b	2000	16	1	1	2000	100	181.559	11015.687	22.285	44.873	2000:2000	0	100
Qwen3	30b_a3b	250	16	1	1	500	100	77.03	3245.468	23.592	42.387	250:500	250	100
Qwen3	30b_a3b	250	16	1	1	1000	100	76.303	3276.39	22.871	43.723	250:1000	750	100
Qwen3	30b_a3b	250	16	1	1	2000	100	71.801	3481.849	22.245	44.954	250:2000	1750	100
Qwen3	30b_a3b	250	16	1	1	4000	100	75.612	3306.349	20.896	47.856	250:4000	3750	100
Qwen3	30b_a3b	250	16	1	1	8000	100	62.978	3969.642	18.779	53.251	250:8000	7750	100
Qwen3	30b_a3b	250	16	1	1	16000	100	46.654	5358.567	15.662	63.85	250:16000	15750	100

Qwen3.5-35B-A3B-GPTQ-Int4 (MoE GPTQ，GPTQ INT4(W4A16))

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3.5	35b_a3b	128	16	1	1	128	100	84.599	1513.026	14.819	67.48	128:128	0	100
Qwen3.5	35b_a3b	250	16	1	1	250	100	85.558	2921.984	14.647	68.271	250:250	0	100
Qwen3.5	35b_a3b	500	16	1	1	500	100	141.848	3524.893	14.699	68.032	500:500	0	100
Qwen3.5	35b_a3b	1000	16	1	1	1000	100	213.355	4687.03	14.905	67.091	1000:1000	0	100
Qwen3.5	35b_a3b	2000	16	1	1	2000	100	210.223	9513.689	14.57	68.632	2000:2000	0	100
Qwen3.5	35b_a3b	250	16	1	1	500	100	75.497	3311.373	14.578	68.596	250:500	250	100
Qwen3.5	35b_a3b	250	16	1	1	1000	100	74.451	3357.928	14.542	68.767	250:1000	750	100
Qwen3.5	35b_a3b	250	16	1	1	2000	100	73.796	3387.727	14.49	69.011	250:2000	1750	100
Qwen3.5	35b_a3b	250	16	1	1	4000	100	70.694	3536.377	14.558	68.69	250:4000	3750	100
Qwen3.5	35b_a3b	250	16	1	1	8000	100	75.132	3327.477	14.353	69.671	250:8000	7750	100
Qwen3.5	35b_a3b	250	16	1	1	16000	100	63.076	3963.49	13.827	72.324	250:16000	15750	100

Qwen3.5-35B-A3B-GPTQ-Int4 (MoE GPTQ，GPTQ INT4(W4A16)) 开启 MTP 投机解码 (GSM8K测试集)

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prefix(tokens)	Prompt Index	accept rate((acclen-1)/(4-1))	accept rate(acclen/4)	Prediction	Ground Truth	Correct
Qwen3.5	35b_a3b	869	1	1	869	156	93.55	9289.19	20	50	0	6	0.7431	0.8125	64	64	TRUE
Qwen3.5	35b_a3b	855	1	1	855	116	94.18	9078.47	23.74	42.12	0	7	0.9032	0.9355	260	260	TRUE
Qwen3.5	35b_a3b	884	1	1	884	245	94.26	9378.74	21.39	46.74	0	8	0.7963	0.8507	160	160	TRUE
Qwen3.5	35b_a3b	919	1	1	919	259	94.33	9742.37	22.16	45.13	0	9	0.8288	0.875	45	45	TRUE
Qwen3.5	35b_a3b	875	1	1	875	154	94.29	9280.01	22.75	43.95	0	10	0.8527	0.8953	460	460	TRUE
Qwen3.5	35b_a3b	875	1	1	875	144	94.25	9283.42	23.46	42.63	0	11	0.8889	0.9231	366	366	TRUE
Qwen3.5	35b_a3b	879	1	1	879	182	94.35	9316.48	23.61	42.35	0	12	0.898	0.9286	694	694	TRUE
Qwen3.5	35b_a3b	882	1	1	882	179	94.32	9350.65	20.65	48.42	0	13	0.7455	0.8136	12	13	FALSE
Qwen3.5	35b_a3b	872	1	1	872	370	94.25	9252.14	23.42	42.69	0	14	0.8967	0.925	18	18	TRUE
Qwen3.5	35b_a3b	867	1	1	867	225	94.29	9195.46	22.3	44.85	0	15	0.8333	0.8789	60	60	TRUE
Qwen3.5	35b_a3b	909	1	1	909	123	94.4	9628.87	23.62	42.34	0	16	0.899	0.9318	125	125	TRUE
Qwen3.5	35b_a3b	868	1	1	868	61	94.1	9224.29	24	41.66	0	17	0.9167	0.9531	230	230	TRUE
Qwen3.5	35b_a3b	872	1	1	872	148	94.19	9258.25	24.78	40.36	0	18	0.9561	0.9737	57500	57500	TRUE
Qwen3.5	35b_a3b	843	1	1	843	84	94.13	8955.35	21.28	46.99	0	19	0.7733	0.84	7	7	TRUE
Qwen3.5	35b_a3b	880	1	1	880	185	94.33	9328.94	21.35	46.84	0	20	0.7818	0.8409	6	6	TRUE

Qwen3.5_FQ-35B-A3B (MoE GPTQ，GPTQ INT4 (W4A16))

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3.5_FQ	35b_a3b	128	16	1	1	128	100	82.249	1556.244	21.021	47.572	128:128	0	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	250	100	81.701	3059.955	20.855	47.949	250:250	0	100
Qwen3.5_FQ	35b_a3b	500	16	1	1	500	100	131.504	3802.176	20.918	47.805	500:500	0	100
Qwen3.5_FQ	35b_a3b	1000	16	1	1	1000	100	187.131	5343.849	21.038	47.533	1000:1000	0	100
Qwen3.5_FQ	35b_a3b	2000	16	1	1	2000	100	185.97	10754.402	20.923	47.795	2000:2000	0	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	500	100	71.712	3486.16	20.814	48.045	250:500	250	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	1000	100	70.96	3523.1	20.439	48.926	250:1000	750	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	2000	100	70.844	3528.898	20.575	48.602	250:2000	1750	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	4000	100	67.604	3698.016	20.347	49.148	250:4000	3750	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	8000	100	72.499	3448.316	20.255	49.371	250:8000	7750	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	16000	100	61.268	4080.431	18.777	53.256	250:16000	15750	100

Qwen3.5_FQ-35B-A3B (MoE GPTQ，GPTQ INT4 (W4A16)) 开启 MTP 投机解码 (GSM8K测试集)

Model	Size	PrefillLen(tokens)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Prompt Index	accept rate((acclen-1)/(4-1))	accept rate(acclen/4)	Prediction	Ground Truth	Correct
Qwen3.5_FQ	35b_a3b	869	1	1	869	340	92.04	9442	23.19	43.13	6	0.7638	0.8252	64	64	TRUE
Qwen3.5_FQ	35b_a3b	855	1	1	855	111	91.74	9319.95	25.79	38.77	7	0.8889	0.925	260	260	TRUE
Qwen3.5_FQ	35b_a3b	884	1	1	884	237	92.31	9576.49	23.65	42.27	8	0.7905	0.8464	160	160	TRUE
Qwen3.5_FQ	35b_a3b	919	1	1	919	267	92.36	9950.43	23.94	41.77	9	0.8034	0.8558	45	45	TRUE
Qwen3.5_FQ	35b_a3b	875	1	1	875	147	92.19	9490.76	24.09	41.51	10	0.7984	0.8547	460	460	TRUE
Qwen3.5_FQ	35b_a3b	875	1	1	875	140	92.23	9487.47	24.06	41.56	11	0.7967	0.8537	366	366	TRUE
Qwen3.5_FQ	35b_a3b	879	1	1	879	182	92.3	9523.19	25.57	39.11	12	0.8733	0.91	694	694	TRUE
Qwen3.5_FQ	35b_a3b	882	1	1	882	169	92.3	9555.32	21.19	47.19	13	0.6667	0.7545	12	13	FALSE
Qwen3.5_FQ	35b_a3b	872	1	1	872	387	92.27	9450.16	24.94	40.09	14	0.8471	0.8876	18	18	TRUE
Qwen3.5_FQ	35b_a3b	867	1	1	867	181	92.24	9399.15	23.6	42.37	15	0.7778	0.838	60	60	TRUE
Qwen3.5_FQ	35b_a3b	909	1	1	909	157	92.45	9831.85	23.45	42.65	16	0.773	0.8351	125	125	TRUE
Qwen3.5_FQ	35b_a3b	868	1	1	868	61	92.24	9409.8	26.83	37.27	17	0.9167	0.9531	230	230	TRUE
Qwen3.5_FQ	35b_a3b	872	1	1	872	151	92.16	9461.32	25.58	39.09	18	0.8862	0.9207	57500	57500	TRUE
Qwen3.5_FQ	35b_a3b	843	1	1	843	77	91.9	9172.96	22.34	44.77	19	0.7222	0.8021	7	7	TRUE
Qwen3.5_FQ	35b_a3b	880	1	1	880	179	92.25	9539.71	22.02	45.42	20	0.7076	0.7851	6	6	TRUE

Qwen3.6_FQ-35B-A3B (MoE GPTQ，GPTQ INT4 (W4A16))

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3.6_FQ	35b_a3b	128	16	1	1	128	100	77.586	1649.772	21.15	47.281	128:128	0	100
Qwen3.6_FQ	35b_a3b	250	16	1	1	250	100	77.685	3218.111	20.984	47.655	250:250	0	100
Qwen3.6_FQ	35b_a3b	500	16	1	1	500	100	130.304	3837.19	21.057	47.49	500:500	0	100
Qwen3.6_FQ	35b_a3b	1000	16	1	1	1000	100	199.338	5016.613	21.08	47.439	1000:1000	0	100
Qwen3.6_FQ	35b_a3b	2000	16	1	1	2000	100	200.005	9999.739	21.204	47.162	2000:2000	0	100
Qwen3.6_FQ	35b_a3b	250	16	1	1	500	100	71.765	3483.611	21.286	46.979	250:500	250	100
Qwen3.6_FQ	35b_a3b	250	16	1	1	1000	100	71.735	3485.053	21.269	47.018	250:1000	750	100
Qwen3.6_FQ	35b_a3b	250	16	1	1	2000	100	70.418	3550.218	21.156	47.268	250:2000	1750	100
Qwen3.6_FQ	35b_a3b	250	16	1	1	4000	100	67.146	3723.22	20.689	48.335	250:4000	3750	100
Qwen3.6_FQ	35b_a3b	250	16	1	1	8000	100	68.459	3651.826	20.415	48.985	250:8000	7750	100
Qwen3.6_FQ	35b_a3b	250	16	1	1	16000	100	62.79	3981.532	19.572	51.093	250:16000	15750	100

Qwen3-VL-8B (VLM GPTQ，GPTQ INT4 (W4A16))

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3VL	8b	128	16	1	1	128	100	95.335	1342.629	13.752	72.716	128:128	0	100
Qwen3VL	8b	250	16	1	1	250	100	162.473	1538.717	13.437	74.419	250:250	0	100
Qwen3VL	8b	500	16	1	1	500	100	252.564	1979.694	11.807	84.693	500:500	0	100
Qwen3VL	8b	1000	16	1	1	1000	100	331.686	3014.904	11.602	86.188	1000:1000	0	100
Qwen3VL	8b	2000	16	1	1	2000	100	314.092	6367.569	11.44	87.415	2000:2000	0	100
Qwen3VL	8b	250	16	1	1	500	100	132.33	1889.21	11.696	85.497	250:500	250	100
Qwen3VL	8b	250	16	1	1	1000	100	134.411	1859.97	11.395	87.76	250:1000	750	100
Qwen3VL	8b	250	16	1	1	2000	100	125.481	1992.33	11.412	87.625	250:2000	1750	100
Qwen3VL	8b	250	16	1	1	4000	100	130.614	1914.035	11.342	88.168	250:4000	3750	100
Qwen3VL	8b	250	16	1	1	8000	100	105.79	2363.174	10.733	93.174	250:8000	7750	100
Qwen3VL	8b	250	16	1	1	16000	100	76.764	3256.751	9.754	102.522	250:16000	15750	100

Model	Size	PrefillLen(k)	Ctx(k)	Batch	NChip	Input(k)	Output(k)	Prefill(tps)	Decode(tps)	Vision(fps)	Precision
Qwen3-VL	8B	0.25	16	1	1	0.25	0.05	161.499	13.463	6.004	w4a16
Qwen3-VL	8B	0.25	16	1	1	0.5	0.05	137.503	10.39	6.004	w4a16
Qwen3-VL	8B	0.25	16	1	1	1	0.05	105.347	10.856	6.004	w4a16
Qwen3-VL	8B	0.25	16	1	1	2	0.05	124.818	9.75	6.004	w4a16
Qwen3-VL	8B	0.25	16	1	1	4	0.05	130.547	9.74	6.004	w4a16
Qwen3-VL	8B	0.25	16	1	1	8	0.05	105.719	9.746	6.004	w4a16
Qwen3-VL	8B	0.25	16	1	1	16	0.05	76.728	9.752	6.004	w4a16