3. 主流检测模型概览
在视频AI目标检测的工程落地中，模型选型往往决定了整个系统的性能上限与成本下限。不同检测模型在精度、速度、显存占用、小目标表现、部署难度等维度上差异显著，没有“万能模型”，只有“最匹配场景的模型”。本章将系统梳理YOLO系列、SSD、Faster R-CNN、EfficientDet四大主流检测框架的核心原理与适用边界，帮助你在实际项目中做出有理有据的选型决策。
3.1 核心原理：从两阶段到单阶段的演进逻辑
目标检测模型的核心差异在于“如何定位目标位置”和“如何判断目标类别”这两个任务的耦合方式。Faster R-CNN采用两阶段策略：第一阶段通过区域建议网络（RPN）生成可能包含目标的候选框，第二阶段对每个候选框进行精细分类与回归。这种“先粗筛、再精修”的设计使其精度极高，但推理速度受限于两阶段串行计算，在视频流场景中往往难以达到实时要求。
YOLO系列与SSD则采用单阶段策略，直接在特征图上回归目标的边界框与类别概率，省去了候选框生成环节。YOLO将图像划分为网格，每个网格负责预测中心点落在该网格内的目标；SSD则在多个不同尺度的特征图上设置默认框（Default Box），通过密集采样覆盖不同尺寸的目标。单阶段模型在速度上具有天然优势，但早期版本在密集小目标场景下精度不如两阶段模型。
EfficientDet则从网络结构搜索与复合缩放的角度切入，提出加权双向特征金字塔网络（BiFPN）实现多尺度特征的高效融合，并通过复合系数统一缩放输入分辨率、骨干网络深度与特征网络宽度，在精度与效率之间取得帕累托最优。
3.2 模型对比与选型判断方法
面对具体项目时，不能仅凭“哪个模型更先进”做决策，而应从以下四个维度建立量化评估体系：
- 实时性指标：明确视频流的帧率要求（如25FPS、30FPS），并考虑后处理（NMS、跟踪）的额外耗时。模型推理时间需预留至少30%的余量。
- 精度指标：使用mAP（mean Average Precision）作为基准，但需关注在特定IoU阈值（如0.5:0.95）下的表现，以及小目标（像素面积小于32×32）的AP值。
- 硬件约束：边缘设备（Jetson Nano、RK3588）与服务器GPU（T4、A10）的算力差异巨大，需评估模型在目标硬件上的实际吞吐量。
- 部署生态：是否支持TensorRT、OpenVINO、ONNX Runtime等加速框架，是否便于量化（INT8/FP16），是否有成熟的C++/Python部署示例。
| 模型 | 骨干网络 | 输入尺寸 | mAP (COCO) | 推理速度 (T4 GPU) | 显存占用 | 小目标能力 | 典型场景 |
|---|---|---|---|---|---|---|---|
| YOLOv8s | CSPDarknet | 640×640 | 44.9 | ~2.5ms | ~1.2GB | 中等 | 实时视频监控、边缘盒子 |
| YOLOv5s | CSPDarknet | 640×640 | 37.4 | ~2.0ms | ~1.0GB | 中等 | 工业检测、安防 |
| SSD512 | ResNet-50 | 512×512 | 31.2 | ~6.0ms | ~1.5GB | 较弱 | 中大型目标、传统项目 |
| Faster R-CNN | ResNet-101 | 1000×600 | 41.5 | ~45ms | ~4.5GB | 强 | 离线分析、高精度质检 |
| EfficientDet-D2 | EfficientNet-B2 | 768×768 | 43.0 | ~8.0ms | ~2.0GB | 较强 | 精度效率均衡场景 |
判断操作流程：首先统计业务场景中目标的像素尺寸分布，若大量目标小于32×32像素，应优先考虑Faster R-CNN或EfficientDet；若目标尺寸较大且对帧率要求高，YOLO系列是首选。其次，评估部署硬件的算力上限，在Jetson Nano等低功耗设备上，YOLOv5s/YOLOv8s配合TensorRT INT8量化是唯一可行方案。最后，考虑团队的技术栈——YOLO系列拥有最庞大的社区与预训练模型资源，能显著缩短开发周期。
3.3 实战案例：智慧园区视频监控的模型选型与调优
某智慧园区项目需要对园区内20路高清摄像头（1080P@25FPS）进行实时行人检测与轨迹跟踪。初始方案采用Faster R-CNN（ResNet-101）部署在单张T4 GPU上，实测单路视频推理耗时约45ms，加上跟踪与业务逻辑后，单卡最多只能处理8路视频流，远低于20路的需求。
关键指标分析：项目要求端到端延迟小于200ms，且行人目标在画面中通常占据40×80像素以上，属于中大型目标，对小目标精度要求不高。基于此，团队将候选模型锁定为YOLOv5s与YOLOv8s。
实际操作步骤：
- 使用园区历史监控数据（约5000张标注图像）微调YOLOv5s，训练50个epoch，mAP达到0.89（IoU=0.5），满足业务要求。
- 将模型导出为ONNX格式，再通过TensorRT转换为FP16引擎，推理耗时从2.0ms降至1.2ms。
- 采用批处理策略，将4路视频帧拼接为batch=4输入模型，单卡总吞吐量提升至25路视频流。
- 针对夜间低光照场景，在预处理阶段加入自适应直方图均衡化，mAP提升3.2%。
结果对比：最终方案在单张T4 GPU上稳定处理20路视频流，端到端延迟约120ms，GPU利用率维持在70%左右。相比初始Faster R-CNN方案，硬件成本降低50%，且精度损失仅1.8%（mAP从0.91降至0.89）。
复盘经验：模型选型不能只看指标，必须结合业务目标尺寸、硬件预算与延迟要求综合判断。Faster R-CNN在该场景中属于“性能过剩”，而YOLO系列在满足精度的前提下带来了3倍以上的吞吐量提升。此外，TensorRT的FP16优化在工程落地中几乎是无损的加速手段，应作为默认配置。
3.4 模型演进趋势与工程适配总结
当前检测模型的发展呈现两条主线：一是以YOLO系列为代表的“极致实时”路线，不断优化CSP结构、注意力机制与无锚框设计，在保持实时性的同时逐步逼近两阶段模型的精度；二是以DETR（Detection Transformer）为代表的“端到端”路线，通过Transformer的全局建模能力消除NMS后处理，但目前在边缘设备上部署仍受限于计算量。
从工程视角看，YOLOv8是目前综合性价比最高的选择：它同时支持目标检测、实例分割、姿态估计，且官方提供了完善的导出工具链（ONNX、TensorRT、CoreML）。SSD虽然历史意义重大，但其多尺度特征融合方式已被BiFPN和PANet超越，在新项目中不建议作为首选。Faster R-CNN在医疗影像、工业缺陷检测等对精度极度敏感且算力充裕的场景中仍有不可替代的价值。EfficientDet则适合需要精细控制模型规模的中型项目，通过调整复合系数D0-D7，可以在不同硬件上灵活部署。
最后需要强调的是，模型选型只是视频AI系统的第一步。实际部署中，输入分辨率的选择（如从1080P降采样到640×640）、帧采样策略（跳帧检测+插值跟踪）、以及NMS阈值的调优，往往对最终效果的影响不亚于模型本身。建议在项目启动初期就建立完整的评估流水线，将模型推理、后处理、业务逻辑作为一个整体进行性能测试，避免“模型跑得快、系统跑不动”的尴尬局面。