版本发布信息

vLLM-MUSA 0.24

CPU 平台	镜像地址
Intel/AMD	`registry.mthreads.com/mcconline/inference/vllm/vllm-openai:v0.24.0-amd64-ph1-musa5.2.0`

上游版本对齐： 同步上游 vLLM 0.24.0，适配新的 attention、fused-MoE、sampler 和 Model Runner 接口。
V1 与编译运行时： 完善 V1 引擎和 Model Runner V2 路径，改进 CUDA Graph、torch.compile cache 及首次编译流程。
Attention 与 KV cache： 支持 MUSA FlashAttention 的 FP8 E4M3 KV cache，更新 attention block size，改进混合 batch prefill、KV split 和 DeepSeek-V4-Flash-Base sparse MLA 路径。
DeepSeek-V4-Flash-Base 长 prefill： 优化长上下文 prefill indexer，支持多卡并行和 native C4 prefill compression，并增强 graph 路径的稳定性。
MoE 与量化： 加入 FP8 per-token-group quantization、Qwen3.5 shared-expert 融合、S5000 FP8 MoE backend 选择，以及小 batch BF16 GEMV 优化。
GDN / Mamba： 为 Qwen3.5 GDN decode 引入 fused recurrent update，并优化 Mamba cache layout。
推测解码： 支持 MUSA sampled speculative decoding，完善 DeepSeek-V4-Flash-Base MTP、Qwen3.5 MTP 和 Eagle3 的 graph metadata、随机数与验证流程。