支持模型
以下模型范围对应 vLLM-MUSA 0.28.0。部署配置面向约 4K 输入、1K 输出的有界并发场景;模型 revision、量化精度、并行方式或请求形状变化后,需要重新验证。
ONNX Runtime 1.23.0 + ep 镜像支持模型
| 类别 | 模型/算法 |
|---|---|
| CV(分类) | EfficientNet-B0 |
| CV(分类) | ResNet-50 |
| CV(分类) | Inception-V3 |
| CV(分类) | SqueezeNet v1.1 |
| CV(分类) | ResNet-50 |
| CV(检测) | YOLOv12x |
| CV(检测) | YOLOv3 |
| CV(视频检测) | YOWOv3 |
| CV(视觉骨干) | EVA02-L/14 @224 |
| CV(视觉骨干) | EVA02-L/14 @448 |
| CV(视觉骨干) | ViT-L/16 |
| CV(视觉骨干) | Swin-B |
| CV(位姿估计) | FoundationPose |
| 多模态(图文) | CLIP ViT-L/14 |
| 多模态(视频生成) | Cosmos Transfer2.5-2B + Cosmos Reason1-7B |
| 填充掩码 | BERT |
ONNX Runtime 1.26.0 + plugin-ep 镜像支持模型
| 类别 | 模型/算法 |
|---|---|
| 基础CTR预估 | DNN |
| 基础CTR预估 | WDL(Wide & Deep) |
| 特征交互 | AFM |
| 特征交互 | AutoInt |
| 特征交互 | CCPM |
| 特征交互 | DCN |
| 特征交互 | DCNMix |
| 特征交互 | DeepFEFM |
| 特征交互 | DeepFM |
| 特征交互 | DIFM |
| 特征交互 | EDCN |
| 特征交互 | FGCNN |
| 特征交互 | FiBiNET |
| 特征交互 | FLEN |
| 特征交互 | FNN |
| 特征交互 | FwFM |
| 特征交互 | IFM |
| 特征交互 | MLR |
| 特征交互 | NFM |
| 特征交互 | ONN |
| 特征交互 | PNN-IPNN |
| 特征交互 | PNN-OPNN |
| 特征交互 | Wukong |
| 特征交互 | xDeepFM |
| 用户行为建模 | DIN |
| 用户行为建模 | DIEN |
| 用户行为建模 | DSIN |
| 用户行为建模 | BST |
| 序列推荐 | BERT4Rec |
| 序列推荐 | SIM-Hard |
| 序列推荐 | SIM-Soft |
| 序列推荐 | TWIN |
| 多任务学习 | ESMM |
| 多任务学习 | MMoE |
| 多任务学习 | MMoE-Attention |
| 多任务学习 | PLE |
| 多任务学习 | SharedBottom |
| 新型排序架构 | OneTrans |
| 新型排序架构 | RankMixer |
| 新型排序架构 | TokenMixer-Large |

