跳到主要内容

支持模型

以下模型范围对应 vLLM-MUSA 0.28.0。部署配置面向约 4K 输入、1K 输出的有界并发场景;模型 revision、量化精度、并行方式或请求形状变化后,需要重新验证。

ONNX Runtime 1.23.0 + ep 镜像支持模型​

类别模型/算法
CV(分类)EfficientNet-B0
CV(分类)ResNet-50
CV(分类)Inception-V3
CV(分类)SqueezeNet v1.1
CV(分类)ResNet-50
CV(检测)YOLOv12x
CV(检测)YOLOv3
CV(视频检测)YOWOv3
CV(视觉骨干)EVA02-L/14 @224
CV(视觉骨干)EVA02-L/14 @448
CV(视觉骨干)ViT-L/16
CV(视觉骨干)Swin-B
CV(位姿估计)FoundationPose
多模态(图文)CLIP ViT-L/14
多模态(视频生成)Cosmos Transfer2.5-2B + Cosmos Reason1-7B
填充掩码BERT

ONNX Runtime 1.26.0 + plugin-ep 镜像支持模型​

类别模型/算法
基础CTR预估DNN
基础CTR预估WDL(Wide & Deep)
特征交互AFM
特征交互AutoInt
特征交互CCPM
特征交互DCN
特征交互DCNMix
特征交互DeepFEFM
特征交互DeepFM
特征交互DIFM
特征交互EDCN
特征交互FGCNN
特征交互FiBiNET
特征交互FLEN
特征交互FNN
特征交互FwFM
特征交互IFM
特征交互MLR
特征交互NFM
特征交互ONN
特征交互PNN-IPNN
特征交互PNN-OPNN
特征交互Wukong
特征交互xDeepFM
用户行为建模DIN
用户行为建模DIEN
用户行为建模DSIN
用户行为建模BST
序列推荐BERT4Rec
序列推荐SIM-Hard
序列推荐SIM-Soft
序列推荐TWIN
多任务学习ESMM
多任务学习MMoE
多任务学习MMoE-Attention
多任务学习PLE
多任务学习SharedBottom
新型排序架构OneTrans
新型排序架构RankMixer
新型排序架构TokenMixer-Large