推理性能

模型性能数据

以下数据来自 SGLang-MUSA 0.5.10+20260630 在 M1000 AImodule 端侧环境的实测结果。均在性能模式 + compute_only 环境下测试，数值供参考。

测试环境

• 端设备：M1000 AImodule，64G 统一内存
• 系统版本：V1.4.1
• MUSA 版本：5.1.1
• 服务参数：max-total-tokens=16384
• 文本测试并发：1
• 文本测试输入 / 输出：无前缀场景为 128/100、250/100、500/100、1000/100、2000/100；带 prefix 场景为 500/100、1000/100、2000/100、4000/100、8000/100、16000/100，其中 PrefillLen=250

测试说明

测试指标说明如下：

• Prefill(tps)：Prefill 阶段吞吐，单位 token/s。
• TTFT(ms)：首 token 延迟，单位 ms。
• Decode(tps)：Decode 阶段吞吐，单位 token/s。
• TPOT(ms)：单个输出 token 平均耗时，单位 ms。
• Profile：测试 profile，格式为 prefill_len:input_len。

性能复现流程

解压得到安装包目录：

tar -zxvf SGLang-MUSA-M1000-M1000_1.4.1_sglang.tar.gz
cd 20260718_M1000_1.4.1_sglang

修改 scripts/ci/musa/tilelang_workflow_config.json 中的模型路径为实际路径，比如：

"model_paths": [
    "/home/dev/models/Qwen3-30B-A3B-GPTQ-Int4",
    "/home/dev/models/Qwen3.5-35B-A3B-GPTQ-Int4"
  ]

生成工作流配置并加载环境变量：

scripts/ci/musa/generate_tilelang_workflow.sh
source scripts/ci/musa/setup_env.sh

首次运行或更新模型、profile、kernel 配置后，需要预编译 TileLang kernel：

scripts/ci/musa/precompile_tilelang_kernels.sh

分别启动服务并运行 benchmark。每组测试使用两个终端：终端 1 启动并保持服务运行，终端 2 进入同一仓库后运行对应的 benchmark。benchmark 通过 MODEL_KEY 选择对应模型配置。

Qwen3-30B-A3B：

终端 1：

scripts/ci/musa/start_qwen3_server.sh

终端 2：

MODEL_KEY=qwen3 scripts/ci/musa/run_tilelang_benchmark.sh

Qwen3.5-35B-A3B：

终端 1：

scripts/ci/musa/start_qwen35_server.sh

终端 2：

MODEL_KEY=qwen35 scripts/ci/musa/run_tilelang_benchmark.sh

Qwen3.5_FQ-35B-A3B：

终端 1：

bash scripts/ci/musa/start_qwen35_fq_server.sh

终端 2：

MODEL_KEY=qwen35_fq scripts/ci/musa/run_tilelang_benchmark.sh

Qwen3-30B-A3B

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3	30b_a3b	128	16	1	1	128	100	53.21	2405.54	25.688	38.929	128:128	0	100
Qwen3	30b_a3b	250	16	1	1	250	100	69.869	3578.129	25.225	39.643	250:250	0	100
Qwen3	30b_a3b	500	16	1	1	500	100	83.732	5971.4	24.211	41.304	500:500	0	100
Qwen3	30b_a3b	1000	16	1	1	1000	100	91.74	10900.316	23.622	42.333	1000:1000	0	100
Qwen3	30b_a3b	2000	16	1	1	2000	100	89.865	22255.656	22.904	43.66	2000:2000	0	100
Qwen3	30b_a3b	250	16	1	1	500	100	42.006	5951.564	24.184	41.35	250:500	250	100
Qwen3	30b_a3b	250	16	1	1	1000	100	40.789	6129.116	23.646	42.291	250:1000	750	100
Qwen3	30b_a3b	250	16	1	1	2000	100	40.551	6165.144	22.881	43.704	250:2000	1750	100
Qwen3	30b_a3b	250	16	1	1	4000	100	60.451	4135.607	21.621	46.251	250:4000	3750	100
Qwen3	30b_a3b	250	16	1	1	8000	100	54.081	4622.7	19.48	51.334	250:8000	7750	100
Qwen3	30b_a3b	250	16	1	1	16000	100	44.348	5637.225	16.298	61.357	250:16000	15750	100

Qwen3.5-35B-A3B

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3.5	35b_a3b	128	16	1	1	128	100	64.743	1977.056	15.498	64.525	128:128	0	100
Qwen3.5	35b_a3b	250	16	1	1	250	100	109.407	2285.049	15.39	64.977	250:250	0	100
Qwen3.5	35b_a3b	500	16	1	1	500	100	168.278	2971.28	15.034	66.514	500:500	0	100
Qwen3.5	35b_a3b	1000	16	1	1	1000	100	228.109	4383.87	14.878	67.211	1000:1000	0	100
Qwen3.5	35b_a3b	2000	16	1	1	2000	100	226.784	8818.956	14.978	66.763	2000:2000	0	100
Qwen3.5	35b_a3b	250	16	1	1	500	100	87.485	2857.638	15.139	66.055	250:500	250	100
Qwen3.5	35b_a3b	250	16	1	1	1000	100	85.979	2907.687	15.134	66.077	250:1000	750	100
Qwen3.5	35b_a3b	250	16	1	1	2000	100	85.768	2914.834	15.028	66.542	250:2000	1750	100
Qwen3.5	35b_a3b	250	16	1	1	4000	100	81.367	3072.506	14.865	67.274	250:4000	3750	100
Qwen3.5	35b_a3b	250	16	1	1	8000	100	93.369	2677.554	14.58	68.589	250:8000	7750	100
Qwen3.5	35b_a3b	250	16	1	1	16000	100	80.808	3093.741	14.02	71.325	250:16000	15750	100

Qwen3.5_FQ-35B-A3B

Model	Size	PrefillLen(tokens)	Ctx(K)	Batch	NChip	Input(tokens)	Output(tokens)	Prefill(tps)	TTFT(ms)	Decode(tps)	TPOT(ms)	Profile	Prefix(tokens)	MeasuredOutput(tokens)
Qwen3.5_FQ	35b_a3b	128	16	1	1	128	100	79.267	1614.799	21.747	45.984	128:128	0	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	250	100	90.277	2769.244	21.466	46.586	250:250	0	100
Qwen3.5_FQ	35b_a3b	500	16	1	1	500	100	95.952	5210.931	21.047	47.512	500:500	0	100
Qwen3.5_FQ	35b_a3b	1000	16	1	1	1000	100	98.129	10190.623	20.883	47.885	1000:1000	0	100
Qwen3.5_FQ	35b_a3b	2000	16	1	1	2000	100	96.036	20825.607	20.37	49.092	2000:2000	0	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	500	100	72.803	3433.938	20.934	47.77	250:500	250	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	1000	100	74.391	3360.609	20.743	48.209	250:1000	750	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	2000	100	77.626	3220.563	20.365	49.104	250:2000	1750	99
Qwen3.5_FQ	35b_a3b	250	16	1	1	4000	100	70.845	3528.835	20.211	49.477	250:4000	3750	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	8000	100	73.805	3387.314	19.748	50.637	250:8000	7750	100
Qwen3.5_FQ	35b_a3b	250	16	1	1	16000	100	64.087	3900.927	18.583	53.811	250:16000	15750	100