ONNXRuntime-MUSA-M1000 版本说明

本页只说明 ONNXRuntime-MUSA-M1000 推理软件版本的变化。安装包下载地址与校验信息请以安装与验证为准。

版本	发布时间	说明	当前适用范围
ONNX Runtime 1.23.0 + ep 0.28.5	2026.09.30	同步 ONNX Runtime MUSA 0.28.5，新增 M1000 检测与注意力类优化。	M1000（MUSA SDK 5.1.0）

ONNX Runtime 1.23.0 + ep 0.28.5

本版基于 ONNX Runtime MUSA 0.28.5，并针对 M1000 做了专项优化。优化安装后自动生效，无需修改模型，也无需增加任何开关。

功能更新

• 目标检测：Cast 与 TopK、检测头类别分数 TopK 的融合，TopK 支持 fp16 输入。
• 注意力与 Transformer：支持打包注意力路径，静态形状的 ViT 类视觉编码器推理加速。
• SkipLayerNorm：低精度（fp16）残差在进入 LayerNorm 前与原始模型保持一致的舍入方式，修复部分合法广播形状下的计算错误。
• 算子支持：新增 HardSigmoid、Sign、Floor、Ceil、Round 算子与 5 维 GridSample；OneHot 改为在 GPU 上执行；Einsum 支持更多可化为单次矩阵乘的方程形式；GatherElements 支持 bool 与 double 类型；多个算子的注册范围扩展至 opset 23。
• 稳定性：修复 Einsum 输入秩不等时的越界问题；跨设备同步拷贝改在推理流上排序；运行期关闭图捕获后释放已捕获的图。

已知限制

• 模型含维度大于 4 的 fp32 MatMul / FusedMatMul 时，开启图捕获（enable_musa_graph）后引擎会自动关闭该会话的图捕获，改走普通执行。推理结果不受影响。
• Python wheel 的构建信息中不含源码提交号，版本以 wheel 文件名与 onnxruntime.__version__ 中的 +musa.8c4e61fd 为准。

典型模型的性能

测试条件：MTT M1000，MUSA SDK 5.1.0，单请求串行，单卡独占。

模型	基本结构 / 用途	输入 shape	fp32 时延 (ms)	fp16 时延 (ms)
yolo26s	C3k2 + SPPF/C2PSA + anchor-free、NMS-free 端到端检测头；COCO 80 类目标检测	[1,3,640,640]	32.013	6.506
ppocrv5_server_det	DB 文本检测：PPHGNetV2-B4 + LKPAN + PFHeadLocal；只做文本区域检测，不含识别	[1,3,960,960]	436.068	142.311
pp_liteseg_t	STDC1 + SPPM + UAFM + FLD；Cityscapes 19 类实时语义分割	[1,3,512,1024]	90.967	—
deeplabv3p_r50_paddle	ResNet50（output-stride 8）+ ASPP + decoder；Cityscapes 19 类语义分割	[1,3,512,1024]	213.028	—
deeplabv3_resnet50_tv	ResNet50 + ASPP；VOC 标签集 21 类语义分割	[1,3,520,520]	125.877	89.834
sam3_vision_encoder	ViT patch14 / dim1024 / 32 blocks / 16 heads，含 4 个 global-attention block 与 pyramid neck；为概念提示分割与跟踪提供图像特征	[1,3,1008,1008]	3547.759	1812.402
dinov2_base_224 / dinov2_base_518	ViT-B/14：dim768 / 12 blocks / 12 heads；通用视觉特征骨干，可接分类、检索、深度、分割等下游头	[1,3,224,224] [1,3,518,518]	33.892 154.956	8.231 41.773
sparse4d_backbone	ResNet-50 + FPN；提取六路环视相机的多尺度图像特征，是 Sparse4D 流水线的第一站	[1,6,3,256,704]	242.466	—

“—”：未测试该精度。

已验证模型清单

测试条件：MTT M1000，MUSA SDK 5.1.0，单卡独占，默认配置（不开启 NHWC 布局与图捕获），预热 5 次、计时 50 次取平均。精度与 CPU 执行器的 fp32 输出比对，列出的模型均通过精度判据；标 ✳ 的项按相对判据判定。“—”：未测试该精度。

图像分类（47）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
convnext_small	1×3×224×224	1.00000	29.74	1.00000	23.12
convnext_tiny	1×3×224×224	1.00000	17.55	1.00000	12.20
cvt13_224	1×3×224×224	1.00000	20.74	1.00000	14.67
deit3_small_patch16_224	1×3×224×224	1.00000	11.37	1.00000	6.47
densenet121	1×3×224×224	1.00000	22.26	0.99999	14.59
efficientnet_b0	1×3×224×224	1.00000	10.10	0.99996	6.66
efficientnet_b1	1×3×240×240	1.00000	15.63	1.00000	10.35
efficientnet_b2	1×3×288×288	1.00000	19.57	1.00000	13.58
efficientnet_b3	1×3×300×300	1.00000	27.21	1.00000	19.52
efficientnet_b4	1×3×380×380	1.00000	51.20	1.00000	36.44
efficientnet_lite4	1×224×224×3	1.00000	18.02	1.00000	12.93
efficientnetv2_s	1×3×384×384	1.00000	40.42	1.00000	23.60
efficientvit_b1_r224	1×3×224×224	1.00000	10.80	0.99999	7.36
efficientvit_b1_r256	1×3×256×256	1.00000	11.74	1.00000	7.92
efficientvit_b1_r288	1×3×288×288	1.00000	14.40	1.00000	9.82
eva02_large_patch14_448	1×3×448×448	1.00000	656.68	1.00000	395.94
inception_v3	1×3×299×299	0.99999	20.26	0.99999	14.68
mnasnet1_0	1×3×224×224	1.00000	6.76	0.99996	4.94
mobilenet_v2	1×3×224×224	1.00000	6.79	0.99999	4.69
mobilenet_v3_small	1×3×224×224	0.99999	4.02	0.99997	3.06
mobilenet_v3	1×3×224×224	1.00000	6.62	0.99998	4.67
mobilevit_s	1×3×256×256	1.00000	13.92	0.99997	9.69
mobilevitv2_100	1×3×256×256	0.99999	14.80	0.99998	10.40
regnet_y_400mf	1×3×224×224	1.00000	7.64	1.00000	5.70
repvit_m1_0	1×3×224×224	1.00000	13.26	0.99969	9.08
resnet101	1×3×224×224	1.00000	28.95	1.00000	18.80
resnet152	1×3×224×224	1.00000	41.55	1.00000	26.76
resnet18	1×3×224×224	1.00000	7.17	1.00000	5.47
resnet34	1×3×224×224	1.00000	13.03	1.00000	9.78
resnet50-v1-12-int8	1×3×224×224	1.00000	14.31	—	—
resnet50-v1-12-qdq	1×3×224×224	0.99986	329.77	—	—
resnet50	1×3×224×224	1.00000	15.95	1.00000	10.58
resnext101_32x8d	1×3×224×224	1.00000	44.75	1.00000	25.90
resnext50_32x4d	1×3×224×224	1.00000	16.92	1.00000	10.87
shufflenet_v2_x1_0	1×3×224×224	1.00000	4.21	0.99998	3.35
squeezenet1_0	1×3×224×224	1.00000	4.28	1.00000	3.18
squeezenet_v1_1	1×3×227×227	1.00000	3.32	1.00000	2.42
swin_base_patch4_window7_224	1×3×224×224	1.00000	58.38	1.00000	39.52
swin_s3_tiny_224	1×3×224×224	1.00000	20.40	1.00000	14.26
swin_small_patch4_window7_224	1×3×224×224	1.00000	34.14	1.00000	23.81
swin_tiny_patch4_window7_224	1×3×224×224	1.00000	20.05	1.00000	13.61
vgg16	1×3×224×224	1.00000	25.65	1.00000	15.02
vit_base_patch16_224	1×3×224×224	1.00000	20.80	1.00000	13.22
vit_large_patch16_224	1×3×224×224	1.00000	69.00	1.00000	37.26
vit_small_patch16_224	1×3×224×224	1.00000	10.92	1.00000	6.35
vit_tiny_patch16_224	1×3×224×224	1.00000	6.10	1.00000	3.95
wide_resnet50_2	1×3×224×224	1.00000	34.65	1.00000	23.42

目标检测（36）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
FasterRCNN-10	3×800×1088	1.00000	904.85	—	—
detr_r50	1×3×800×1066	1.00000	164.51	0.99998	98.46
efficientdet-d0	1×3×512×512	1.00000	68.96	1.00000	57.71
insightface_det_10g	1×3×640×640	1.00000	40.59	1.00000	29.10
mediapipe_hand_palm_detection_lite	1×192×192×3	1.00000	7.65	1.00000	6.28
mediapipe_hand_palm_detection	1×192×192×3	1.00000	9.18	1.00000	7.54
ppyoloe_plus_s	1×3×640×640 + 1×2	1.00000	37.62	0.99998	26.97
retinaface_mobilenet025	1×3×640×640	0.99996	16.54	0.99970	11.06
retinaface_resnet50	1×3×640×640	0.99998	75.78	0.99998	40.92
ssdlite320_mobilenet_v3_large_raw_heads	1×3×320×320	1.00000	13.60	1.00000	9.99
yolo11m	1×3×640×640	1.00000	67.47	1.00000	40.52
yolo26x	1×3×640×640	1.00000	141.39	1.00000	83.51
yolo_v11n	1×3×640×640	1.00000	24.63	1.00000	18.52
yolo_v11s	1×3×640×640	1.00000	35.83	1.00000	23.66
yolov10s	1×3×640×640	1.00000	36.08	1.00000	23.84
yolov12n	1×3×640×640	1.00000	36.02	1.00000	25.32
yolov12s	1×3×640×640	1.00000	54.10	1.00000	33.63
yolov12x	1×3×640×640	1.00000	214.13	1.00000	124.28
yolov3	1×3×416×416	1.00000	61.13	1.00000	41.00
yolov5s	1×3×640×640	1.00000	37.21	1.00000	27.83
yolov6s	1×3×640×640	1.00000	54.72	1.00000	33.75
yolov7_d6	1×3×1280×1280	1.00000	471.06	1.00000	284.36
yolov7_e6	1×3×1280×1280	1.00000	388.33	1.00000	244.87
yolov7_e6e	1×3×1280×1280	1.00000	572.93	1.00000	335.42
yolov7_tiny_head	1×3×640×640	1.00000	23.12	1.00000	14.19
yolov7_tiny	1×3×640×640	1.00000	36.40	1.00000	26.90
yolov7_u6	1×3×640×640	1.00000	98.78	1.00000	57.15
yolov7_w6_person	1×3×960×960	1.00000	144.13	1.00000	84.47
yolov7_w6	1×3×1280×1280	1.00000	277.54	1.00000	178.65
yolov7	1×3×640×640	1.00000	95.07	1.00000	59.09
yolov7x	1×3×640×640	1.00000	140.51	1.00000	91.50
yolov8m	1×3×640×640	1.00000	63.65	1.00000	40.57
yolov8s	1×3×640×640	1.00000	33.85	1.00000	22.17
yoloworld_v2s	1×3×640×640	1.00000	40.97	1.00000	26.36
yolox_s	1×3×640×640	1.00000	37.78	1.00000	25.49
yowov3	1×3×16×224×224	1.00000	89.55	1.00000	68.23

图像分割（26）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
cutie_mask_decoder	1×512×36×64 + 1×256×72×128 + 1×1×256×18×32 + 1×1×256×18×32	1.00000	13.14	1.00000	9.44
deeplabv3_resnet50_tv	1×3×520×520	1.00000	181.66	1.00000	113.73
deeplabv3p_r50_paddle	1×3×512×1024	1.00000	332.07	—	—
edgetam_mask_decoder	1×256×64×64 + 1×32×256×256 + 1×64×128×128 + 1×1×2 + 1×1 + 1×1×256×256	1.00000	27.61	1.00000	23.87
fastsam_s	1×3×1024×1024	1.00000	98.39	1.00000	60.71
fcn_resnet50_tv	1×3×520×520	1.00000	160.25	1.00000	103.11
maskrcnn_resnet50_fpn_v2_Opset18	1×3×224×224	1.00000	1049.06	—	—
mobilesam_decoder	1×256×64×64 + 1×1×2 + 1×1 + 1×1×256×256 + 1 + 2	1.00000	30.59	1.00000	43.75
musetalk_face_parsing	1×3×512×512	1.00000	56.29	1.00000	44.66
pp_liteseg_t	1×3×512×1024	1.00000	86.28	—	—
sam2_1_hiera_small	1×3×1024×1024	1.00000	297.81	0.99999	167.51
sam2_tiny	1×3×1024×1024	1.00000	254.80	1.00000	148.50
sam3_vision_encoder	1×3×1008×1008	0.99999	3592.12	0.99997	1850.11
sam_vit_b_mask_decoder	1×256×64×64 + 1×3×2 + 1×3 + 1×1×256×256 + 1 + 2	0.99998	26.63	0.99999	21.93
segformer_b0	1×3×1024×1024	1.00000	308.77	—	—
xmem_decoder	1×1024×24×24 + 1×512×48×48 + 1×256×96×96 + 1×1×64×24×24 + 1×1×512×24×24	1.00000	49.70	—	—
yolo11m-seg	1×3×640×640	1.00000	93.65	1.00000	57.09
yolo11s-seg	1×3×640×640	1.00000	50.79	1.00000	34.23
yoloe26-m-seg	1×3×640×640	1.00000	97.51	1.00000	55.73
yolov5s-seg	1×3×640×640	1.00000	52.16	1.00000	40.26
yolov7_mask	1×3×640×640	1.00000	276.87	1.00000	223.57
yolov7_seg_dev	1×3×640×640	1.00000	121.27	1.00000	79.93
yolov7_seg	1×3×640×640	1.00000	122.04	1.00000	79.66
yolov7x_seg	1×3×640×640	1.00000	167.84	1.00000	112.82
yolov8m-seg	1×3×640×640	1.00000	85.16	1.00000	54.44
yolov8s-seg	1×3×640×640	1.00000	48.93	1.00000	32.92

视觉骨干网络（18）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
bevdet_r50_img_encoder	1×6×3×256×704	1.00000	143.56	0.99999	81.70
bevfusion_camonly_cam_encoder	1×6×3×256×704	1.00000	331.38	1.00000	226.12
bevfusion_fusion_cam_encoder	1×6×3×256×704 + 1×6×1×256×704	1.00000	359.73	1.00000	241.58
cutie_mask_encoder	1×3×288×512 + 1×256×18×32 + 1×2×256×18×32 + 1×2×288×512 + 1×2×288×512	1.00000	24.61	1.00000	17.22
cutie_pixel_encoder	1×3×288×512	1.00000	46.16	1.00000	37.20
edgetam_image_encoder	1×3×1024×1024	0.99998	158.82	0.99987	331.07
edgetam_memory_encoder	1×256×64×64 + 1×1×1024×1024	0.99970	52.10	0.99924	39.94
flashocc_henet_img_encoder_reconstructed	6×3×512×960	1.00000	181.92	0.99909	158.62
flashocc_r50_m0_img_encoder	6×3×256×704	1.00000	142.51	1.00000	80.61
gaussianocc_encoder_res101	6×3×384×640	1.00000	521.42	0.99999	301.72
lss_img_encoder	1×6×3×128×352	1.00000	52.22	0.99999	46.48
mobilesam_tinyvit_encoder	1×3×768×1024	1.00000	185.72	—	—
opus_v1t_backbone	6×3×256×704	1.00000	317.50	1.00000	240.96
sparse4d_backbone	1×6×3×256×704	1.00000	322.01	—	—
streampetr_r50_backbone	1×6×3×256×704	1.00000	145.98	1.00000	84.02
xmem_key_encoder	1×3×384×384	1.00000	48.19	1.00000	37.32
xmem_memory_readout	1×64×576 + 1×1×576 + 1×64×24×24 + 1×64×24×24 + 1×512×576	1.00000	3.42	0.99999	3.32
xmem_value_encoder	1×3×384×384 + 1×1024×24×24 + 1×1×64×24×24 + 1×1×1×384×384	1.00000	23.13	1.00000	17.17

语音合成（13）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
cosyvoice2_flow_decoder	2×80×256 + 2×1×256 + 2×80×256 + 2 + 2×80 + 2×80×256	1.00000	109.95	1.00000	93.84
cosyvoice2_speech_tokenizer	1×128×256 + 1	1.00000	19.70	1.00000	13.69
kokoro_82m	1×67 + 1×256 + 1	0.99934	751.82	—	—
qwen3_tts_1_7b_code_predictor	1×2048 + 1×16	1.00000	16.13	0.99886	11.07
qwen3_tts_1_7b_codec_embed	1×64	1.00000	0.97	1.00000	1.00
qwen3_tts_1_7b_residual_embed	1×16	1.00000	0.50	1.00000	0.51
qwen3_tts_1_7b_text_embed	1×64	1.00000	1.64	1.00000	1.38
qwen3_tts_code_predictor	1×1024 + 1×16	1.00000	15.71	0.99884	10.75
qwen3_tts_codec_embed	1×64	1.00000	0.57	1.00000	0.61
qwen3_tts_residual_embed	1×16	1.00000	0.47	1.00000	0.48
qwen3_tts_text_embed	1×64	1.00000	1.27	1.00000	1.02
qwen3_tts_tok_decoder	1×25×16	0.99999	326.93	0.99986	281.41
supertonic	1×32 + 1×50×256 + 1×1×32	1.00000	10.44	—	—

视觉特征 (ViT)（13）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
cutie_object_transformer	1×1×256×18×32 + 1×1×1×16×257	1.00000	15.90	1.00000	13.76
dinov2_base_224	1×3×224×224	1.00000	34.54	0.99981	16.14
dinov2_base_518	1×3×518×518	1.00000	158.62	0.99996	62.25
dinov3_vitb16_224	1×3×224×224	1.00000	65.37	0.99998	54.37
edgetam_memory_attention	4096×1×256 + 4096×1×256 + 516×1×64 + 516×1×64	1.00000	65.19	1.00000	47.81
eva02_large_patch14_224	1×3×224×224	1.00000	185.51	1.00000	129.64
fastvlm_0_5b_vision_encoder	1×3×1024×1024	1.00000	1089.66	0.99999	572.63
gr00t_n1_6_vision_tower	1×3×224×224	0.99999	70.35	—	—
internvl3_1b_vision_encoder	1×3×448×448	1.00000	324.79	0.99999	132.22
openvla_dinosiglip_vision_tower	1×6×224×224	0.99998	113.38	—	—
sam3d_body_vit_b_randweights	1×3×256×192	1.00000	20.97	1.00000	13.46
siglip_so400m_patch14_224_vision_encoder	1×3×224×224	0.99971	66.63	—	—
siglip_so400m_patch14_384_vision_encoder	1×3×384×384	0.99969	181.77	—	—

文本编码（11）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
bert_base_cased	1×128 + 1×128 + 1×128	1.00000	15.88	1.00000	10.35
chinese_bert_wwm_ext	1×128 + 1×128 + 1×128	1.00000	15.92	1.00000	10.37
chinese_bert_wwm	1×128 + 1×128 + 1×128	1.00000	15.95	1.00000	10.43
chinese_roberta_wwm_ext_large	1×128 + 1×128 + 1×128	1.00000	42.60	1.00000	26.63
chinese_roberta_wwm_ext	1×128 + 1×128 + 1×128	1.00000	15.94	1.00000	10.37
gte_base	1×512 + 1×512 + 1×512	1.00000	50.17	1.00000	36.82
rbt3	1×128 + 1×128 + 1×128	1.00000	4.96	1.00000	3.51
rbt4_h312	1×128 + 1×128 + 1×128	1.00000	3.31	1.00000	2.60
rbt4	1×128 + 1×128 + 1×128	1.00000	6.11	1.00000	4.27
rbt6	1×128 + 1×128 + 1×128	1.00000	8.64	1.00000	5.89
rbtl3	1×128 + 1×128 + 1×128	1.00000	6.72	1.00000	4.66

语音识别（8）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
hubert_base_zh	1×10320	1.00000	20.79	0.99999	14.15
musetalk_whisper_encoder	1×80×3000	1.00000	49.01	1.00000	36.07
paraformer_zh	1×200×560 + 1	1.00000	278.65	—	—
sensevoice_small	1×200×560 + 1 + 1 + 1	0.99960	1851.14	—	—
sherpa_whisper_base	1×80×3000	0.99498 ✳	546.25	—	—
wav2vec2_base	1×26880	1.00000	24.13	1.00000	15.08
zipformer_decoder_en	1×2	1.00000	0.46	1.00000	0.47
zipformer_joiner_en	1×512 + 1×512	1.00000	0.22	1.00000	0.23

3D 占据预测（7）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
flashocc_henet_bev_occ_head_reconstructed	1×64×128×128	1.00000	97.16	1.00000	87.27
flashocc_henet_full_reconstructed	6×3×512×960 + 10×128×128×2 + 10×128×128×2	1.00000	280.78	0.99991	247.49
flashocc_r50_m0_bev_occ_head	2560000	1.00000	121.15	1.00000	100.43
gaussianocc_3dcnn_sem	1×64×256×256×24	1.00000	1076.97	1.00000	652.56
gaussianocc_occ_sampler	1×64×256×256×24	1.00000	613.58	0.99965	495.39
lss_bev_head	1×6×41×8×22×64 + 1×6×3×3 + 1×6×3 + 1×6×3×3 + 1×6×3×3 + 1×6×3	1.00000	2304.65	—	—
lss_full_voxelpool	1×6×3×128×352 + 1×6×3×3 + 1×6×3 + 1×6×3×3 + 1×6×3×3 + 1×6×3	1.00000	2340.60	—	—

姿态估计（6）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
rtmw3d_l	1×3×384×288	1.00000	54.71	1.00000	37.57
rtmw3d_x	1×3×384×288	1.00000	77.03	1.00000	54.90
yolo11m-pose	1×3×640×640	1.00000	69.11	1.00000	41.01
yolov7_w6_pose	1×3×960×960	1.00000	227.06	1.00000	154.32
yolov8m-pose	1×3×640×640	1.00000	65.32	1.00000	40.99
yolov8s-pose	1×3×640×640	1.00000	35.18	1.00000	22.31

声纹识别（4）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
campplus_3dspeaker	1×200×80	0.99998	34.86	—	—
campplus_cosyvoice	1×200×80	0.99997	34.47	—	—
qwen3_tts_1_7b_speaker_encoder	1×72000	1.00000	25.38	1.00000	23.26
qwen3_tts_speaker_encoder	1×72000	1.00000	24.91	1.00000	22.99

多模态 Embedding（4）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
clip-vit-l	2×77 + 2×77 + 1×3×224×224	1.00000	151.62	1.00000	101.66
clip_vit_b32_text	80×77	1.00000	208.13	1.00000	130.22
mobileclip_s1	1×3×256×256 + 2×77	1.00000	52.60	1.00000	33.09
mobileclip_s2	1×3×256×256 + 2×77	1.00000	64.41	0.99998	41.63

文本 Embedding（3）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
bge_m3	1×8192 + 1×8192	1.00000	11196.49	—	—
jina_embeddings_v3	1×512 + 1×512	1.00000	428.69	—	—
qwen3_embedding_0_6b	1×64 + 1×64	1.00000	43.72	—	—

图像生成（3）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
musetalk_vae_decoder	1×4×32×32	1.00000	260.67	1.00000	138.25
musetalk_vae_encoder	1×3×256×256	1.00000	128.66	1.00000	70.09
sd15_vae_decoder	1×4×64×64	1.00000	991.96	1.00000	511.77

数字人口型驱动（3）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
musetalk_positional_encoding	1×50×384	1.00000	0.32	1.00000	0.35
musetalk_unet	1×8×32×32 + 1×50×384	0.99997	211.12	—	—
wav2lip	1×1×80×16 + 1×6×96×96	1.00000	17.15	1.00000	16.93

OCR 文本识别（3）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
crnn	1×1×32×100	1.00000	11.70	1.00000	8.14
ppocrv5_mobile_rec	1×3×48×320	1.00000	14.69	0.99985	12.57
ppocrv5_server_rec	1×3×48×320	1.00000	24.38	0.99995	17.52

单目几何（3）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
moge_2_vitb	1×3×518×518	1.00000	612.73	1.00000	330.50
moge_2_vitl	1×3×518×518	1.00000	2876.63	1.00000	1094.61
moge_2_vits	1×3×518×518	1.00000	480.71	1.00000	281.63

3D 目标检测（3）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
bevdepth_r50_bev_head	1×160×128×128	0.99995	82.88	0.99989	48.40
bevdet_r50_bev_det_head	1×64×128×128	1.00000	49.32	1.00000	29.77
second_bev2d_head	1×256×200×176	1.00000	91.97	1.00000	54.18

单目深度（3）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
depth_anything_v2_base_opset14	1×3×518×518	1.00000	230.79	0.99877	138.23
depth_anything_v2_base	1×3×518×518	1.00000	670.31	1.00000	544.25
depth_anything_v2_vitl	1×3×518×518	1.00000	593.60	1.00000	249.75

语音活动检测（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
fsmn_vad	1×200×400 + 1×128×19×1 + 1×128×19×1 + 1×128×19×1 + 1×128×19×1	1.00000	36.60	—	—
silero_vad	1×512 + 2×1×64 + 2×1×64	1.00000	2.97	—	—

双目深度（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
foundation_stereo	1×3×480×640 + 1×3×480×640	1.00000	1568.56	1.00000	1005.69
raftstereo_middlebury_stereo	1×3×1120×1312 + 1×3×1120×1312	0.99998	4874.56	0.99999	2843.64

OCR 文本检测（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
ppocrv5_mobile_det	1×3×960×960	0.99900 ✳	83.09	0.99682	63.52
ppocrv5_server_det	1×3×960×960	1.00000	371.71	0.13314 ✳	215.84

超分辨率（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
sub_pixel_cnn_x3_b8	8×1×224×224	1.00000	62.71	—	—
sub_pixel_cnn_x3	1×1×224×224	1.00000	8.43	—	—

人脸识别（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
adaface	1×3×112×112	1.00000	22.45	1.00000	16.41
insightface_w600k_r50	1×3×112×112	1.00000	21.34	1.00000	15.38

手部关键点（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
mediapipe_hand_landmark_lite	1×224×224×3	1.00000	5.45	1.00000	4.20
mediapipe_hand_landmark	1×224×224×3	1.00000	7.25	1.00000	5.33

文本重排序（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
bge_reranker_v2_m3	1×128 + 1×128	1.00000	26.49	—	—
qwen3_reranker_0_6b	1×85 + 1×85	0.99998	53.28	—	—

视频 Embedding（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
vjepa2_vitl_fpc2_256	1×2×3×256×256	0.99998	138.55	0.99992	91.15
vjepa_vitl16	1×3×16×224×224	0.99999	539.39	0.99994	216.97

机器人策略（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
octo_small_action_head	1×2×1×384 + 1×2×1 + 1×2×28	1.00000	1.94	1.00000	1.90
pi0_action_expert	18×1×1×816×256 + 18×1×1×816×256 + 1×816 + 1×816 + 1×32 + 1×50×32 + 1	1.00000	80.19	1.00000	50.82

6D 物体位姿（2）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
foundationpose_refiner	252×6×160×160 + 252×6×160×160	1.00000	2226.39	1.00000	1190.21
foundationpose_scorer	252×6×160×160 + 252×6×160×160	1.00000	1988.79	1.00000	1037.75

风格迁移（1）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
fast_style_candy	1×3×224×224	1.00000	19.31	—	—

视频插帧（1）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
rife_4x	1×6×256×448	1.00000	39.46	0.97696 ✳	30.63

视频镜头分割（1）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
transnetv2	1×100×27×48×3	1.00000	105.29	1.00000	82.65

说话人分离（1）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
pyannote_segmentation_3	1×1×160000	1.00000	44.67	1.00000	79.49

特征匹配（1）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
superpoint	1×1×682×1024	0.99999	84.31	0.99999	57.87

人脸关键点（1）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
insightface_2d106det	1×3×192×192	1.00000	2.89	1.00000	2.10

人脸属性（1）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
insightface_genderage	1×3×96×96	1.00000	1.35	1.00000	1.21

点云分类（1）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
pointnet_cls_modelnet40	1×3×1024	1.00000	3.02	1.00000	2.30

步态识别（1）

模型	输入尺寸	fp32 cosine	fp32 延迟 (ms)	fp16 cosine	fp16 延迟 (ms)
biggergait_dinov2s_ccpg	1×30×3×448×224	0.99938	1212.40	0.99614	587.61