快速开始

模型准备

请提前准备本地模型目录。以下命令以 Qwen3 系列模型为例，实际使用时请替换为本地模型路径。由于推理对显存占用较高，建议使用 64GB 显存的模组设备。

下载模型权重前，请先安装 ModelScope：

conda activate sglang-py310
pip install modelscope

建议预编译 TileLang kernel

建议在启动服务前先预编译 TileLang kernel。否则首次运行时可能会触发运行中的 TileLang 编译，增加启动和推理耗时。零参数会读取默认 config.json，按配置编译全部模型，结果默认写入 tmp/musa_tilelang_workflow。(同机器相同版本执行一次预编译即可)

conda activate sglang-py310
./scripts/ci/musa/tilelang_precompile/precompile_tilelang.sh --model qwen35,qwen3,qwen35_fq,qwen36_fq,qwen35_dflash,qwen35_fq_dflash,qwen3vl

Qwen3-30B-A3B-GPTQ

权重下载

modelscope download --model Qwen/Qwen3-30B-A3B-GPTQ-Int4 --local_dir ~/models/Qwen3-30B-A3B-GPTQ-Int4/

服务启动

conda activate sglang-py310

python3 -m sglang.launch_server \
  --model-path ~/models/Qwen3-30B-A3B-GPTQ-Int4/ \
  --dtype float16 \
  --quantization moe_wna16 \
  --mem-fraction-static 0.9 \
  --max-running-requests 1 \
  --cuda-graph-bs 1 \
  --page-size 32 \
  --max-total-tokens 16384 \
  --disable-piecewise-cuda-graph \
  --attention-backend fa3

Qwen3.5-35B-A3B-GPTQ

权重下载

modelscope download --model Qwen/Qwen3.5-35B-A3B-GPTQ-Int4 --local_dir ~/models/Qwen3.5-35B-A3B-GPTQ-Int4/
hf download z-lab/Qwen3.5-35B-A3B-DFlash --local-dir ~/models/Qwen3.5-35B-A3B-DFlash

服务启动

conda activate sglang-py310

SGLANG_MAMBA_CONV_DTYPE=float16 python3 -m sglang.launch_server \
  --model-path ~/models/Qwen3.5-35B-A3B-GPTQ-Int4/ \
  --dtype float16 \
  --quantization moe_wna16 \
  --mem-fraction-static 0.9 \
  --max-running-requests 1 \
  --cuda-graph-bs 1 \
  --page-size 32 \
  --disable-radix-cache \
  --max-total-tokens 16384 \
  --disable-piecewise-cuda-graph \
  --attention-backend fa3

Qwen3.5-35B-A3B 全量化模型

权重下载

modelscope download --model potter001/gptq-Qwen3.5-35B-A3B-full-4bit-group --local_dir ~/models/gptq-Qwen3.5-35B-A3B-full-4bit-group

服务启动

默认监听端口：30139

bash scripts/ci/musa/start_qwen35_fq_server.sh

Qwen3.6-35B-A3B 全量化模型

权重下载

modelscope download --model potter001/gptq-Qwen3.6-35B-A3B-4bit-group --local_dir ~/models/gptq-Qwen3.6-35B-A3B-4bit-group
hf download z-lab/Qwen3.6-35B-A3B-DFlash --local-dir ~/models/Qwen3.6-35B-A3B-DFlash

服务启动

默认监听端口：30140

bash scripts/ci/musa/start_qwen36_fq_server.sh

Qwen3-VL-8B

权重下载

modelscope download --model potter001/gptq-Qwen3-VL-8B-Instruct-4bit-group --local_dir ~/models/gptq-Qwen3-VL-8B-Instruct-4bit-group

服务启动

conda activate sglang-py310

python3 -m sglang.launch_server \
    --model ~/models/gptq-Qwen3-VL-8B-Instruct-4bit-group/ \
    --trust-remote-code \
    --dtype float16 \
    --mem-fraction-static 0.9 \
    --max-running-requests 1 \
    --cuda-graph-bs 1 \
    --page-size 32 \
    --context-length 16384 \
    --max-total-tokens 16384 \
    --max-prefill-tokens 1024 \
    --chunked-prefill-size 1024 \
    --disable-piecewise-cuda-graph \
    --attention-backend fa3 \
    --mm-attention-backend varlen_vit_fa \
    --mm-process-config '{"image":{"min_pixels":262144,"max_pixels":262144}}'

Qwen3.5-35B-A3B (W4A8_int8)

权重下载

modelscope download --model FebNoName/Qwen3.5-35B-A3B-QQQ-W4A8 --local_dir ~/models/Qwen3.5-35B-A3B-QQQ-W4A8

启动服务

推荐使用推理性能部分的脚本启动，内存占用约 26 G。

默认监听端口：30139

MODEL_PATH=~/models/Qwen3.5-35B-A3B-QQQ-W4A8 ./scripts/ci/musa/start_qwen35_fq_server.sh --quantization qqq

Qwen3.6-35B-A3B (W4A8_int8)

权重下载

modelscope download --model FebNoName/Qwen3.6-35B-A3B-QQQ-W4A8 --local_dir ~/models/Qwen3.6-35B-A3B-QQQ-W4A8

启动服务

推荐使用推理性能部分的脚本启动，内存占用约 26 G。

默认监听端口：30140

MODEL_PATH=~/models/Qwen3.6-35B-A3B-QQQ-W4A8 ./scripts/ci/musa/start_qwen36_fq_server.sh --quantization qqq

出现 The server is fired up and ready to roll!，则服务启动成功。非脚本启动命令默认监听 http://127.0.0.1:30000；脚本启动的服务默认监听端口见对应模型小节。调用接口时请根据实际服务启动端口进行访问。

参数说明

• --model-path：模型路径。
• --host：服务监听地址。
• --port：服务监听端口。
• --dtype：模型权重和计算数据类型。
• --quantization：量化方式。
• --attention-backend：Attention 后端。
• --page-size：KV Cache page 大小。
• --weight-loader-disable-mmap：加载权重时禁用 mmap。
• --cuda-graph-bs：启用 CUDA Graph 的 batch size 列表。
• --disable-piecewise-cuda-graph：关闭 piecewise CUDA Graph。
• --max-total-tokens：服务最大 token 数。

简单验证

服务启动后，可以使用 curl 进行文本生成验证：

curl http://localhost:30000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "messages":[
    {
      "role":"user",
      "content":"tell a short story"
    }
  ],
  "max_tokens":20,
  "chat_template_kwargs":{
      "enable_thinking":false
  }
}'