3、跟踪范式：TBD（Tracking-by-Detection）、DFT（Detection-Free Tracking）、联合检测与跟踪（Joint Detection and Tracking）的对比
视频多目标跟踪（MOT）的工程实现，首先面临的是范式选择问题。范式决定了系统如何组织检测器与轨迹管理模块之间的关系，也决定了计算资源分配、延迟特性以及应对遮挡和漏检的能力。当前主流方案可归纳为三大类：TBD（先检测后跟踪）、DFT（免检测跟踪，也称初始框跟踪）以及近年兴起的联合检测与跟踪（Joint Detection and Tracking）。三者的核心差异在于“目标假设从何而来”以及“检测与关联是否共享特征”。本章将从原理、流程、适用场景和工程代价四个维度展开对比，并给出选型建议。
3.1 核心原理与范式定位
TBD（Tracking-by-Detection）是目前工业界应用最广泛的范式。其核心思想是将跟踪问题拆解为两个独立子任务：每一帧先运行一个目标检测器（如YOLO、Faster R-CNN），得到该帧所有目标的边界框；然后利用运动模型（如卡尔曼滤波）和外观特征（如ReID特征）将当前帧检测框与已有轨迹进行数据关联。TBD的典型代表是SORT和DeepSORT系列。由于检测器与关联模块完全解耦，开发者可以独立替换或升级检测器，而不影响轨迹管理逻辑。
DFT（Detection-Free Tracking）则完全绕开逐帧检测。它要求在第一帧（或前几帧）由人工或外部模块指定目标框，之后算法仅围绕这些初始框进行局部模板匹配或相关滤波跟踪。经典算法包括KCF、MOSSE以及部分基于Siamese网络的跟踪器（如SiamFC）。DFT的核心假设是目标外观在连续帧间变化平缓，且目标不会突然消失或大量新增。
Joint Detection and Tracking（联合检测与跟踪）是近年来的研究热点，代表工作包括FairMOT、JDE、TrackFormer等。这类方法将检测和ReID特征提取统一到一个端到端网络中，共享Backbone特征，同时输出目标框和身份嵌入向量。在推理阶段，网络直接输出“检测+外观特征”，随后仅需轻量级关联即可完成跟踪。其核心优势在于避免了TBD中“检测器与ReID模型特征不一致”的问题，同时减少了重复计算。
| 维度 | TBD | DFT | Joint |
|---|---|---|---|
| 目标假设来源 | 每帧检测器输出 | 首帧人工指定 | 网络同时输出检测与特征 |
| 新目标发现 | 自动发现 | 无法发现 | 自动发现 |
| 特征一致性 | 检测与ReID分离，可能不一致 | 仅依赖模板 | 共享特征，天然一致 |
| 计算开销 | 检测+ReID两次前向 | 仅局部搜索 | 单次前向 |
| 典型场景 | 行人/车辆密集场景 | 单目标/少量目标 | 实时性要求高的密集场景 |
3.2 判断方法与选型流程
在实际项目中，选择哪种范式不能仅凭“哪个更先进”来判断，而应基于以下四个约束条件：
- 目标数量与密度：如果画面中目标数量超过20个且频繁交叉，DFT几乎不可用，因为模板更新会漂移；TBD和Joint均可，但Joint在密集场景下关联更稳定。
- 计算资源与延迟：边缘设备（如Jetson Nano）上，TBD的检测+ReID双模型可能达到30ms以上；Joint单模型可压缩到15ms以内。DFT虽然最快，但无法处理目标出现/消失。
- 是否需要自动发现新目标：安防监控、交通流量统计必须自动发现新进入画面的目标，此时只能选TBD或Joint。
- 训练数据与标注成本：TBD可以分别训练检测器和ReID模型，数据要求相对宽松；Joint需要同时标注检测框和跨帧ID，标注成本高。
3.3 案例拆解：智慧路口的多目标跟踪方案选型
某智慧交通项目需要对城市路口进行全时段车辆跟踪，要求输出每辆车的连续轨迹，并统计转向流量。硬件为NVIDIA Jetson AGX Orin，算力约275 TOPS，视频流为1080p@25fps。初始方案采用TBD（YOLOv5s + DeepSORT），实测单路延迟约28ms，满足实时性。但在晚高峰时段，路口车辆密集且相互遮挡，出现两个问题：
- 检测器漏检导致轨迹中断，ID Switch率高达18%；
- ReID模型在车辆外观相似（同色同款）时区分度不足。
团队随后评估Joint方案，选用FairMOT（DLA-34 backbone）。关键调整如下：
# FairMOT 推理配置示例
model: fairmot_dla34
conf_threshold: 0.4
track_buffer: 30
max_per_image: 80
# 启用ReID特征维度为512维
reid_dim: 512
切换后，单路延迟降至18ms，ID Switch率降至6.2%。但训练阶段需要同时标注检测框和跨帧ID，标注工作量比TBD增加了约40%。此外，FairMOT在夜间低光照下的检测召回率略低于YOLOv5s，团队额外引入了图像增强预处理。最终方案采用Joint为主、TBD作为兜底：当Joint的检测置信度低于阈值时，触发TBD的检测器进行二次确认。
3.4 常见误区与总结复盘
误区一：认为DFT已经过时。实际上，在无人机单目标锁定、体育赛事中追踪单个运动员等场景，DFT的实时性（可达1ms以内）和低功耗优势仍然明显。但必须配合异常检测机制，当响应峰值低于阈值时自动切换为TBD。
误区二：盲目追求Joint而忽略数据成本。Joint的训练需要同时优化分类、回归和ReID三个损失，如果标注质量不高，容易出现“检测好但关联差”或反之。建议在数据量不足时，先使用TBD快速上线，再逐步积累数据切换Joint。
误区三：忽略轨迹稳定性评估。无论哪种范式，都应使用MOTA、ID Switch、MT（Mostly Tracked）等指标综合评估。仅看MOTA可能掩盖轨迹频繁断裂的问题。工程上建议增加“轨迹连续性”指标——即每条轨迹的平均存活帧数与理论帧数的比值。
总结：三种范式并非简单的替代关系，而是针对不同约束的工程折中。TBD适合模块化开发、快速迭代；DFT适合极低延迟的专用场景；Joint适合高密度、高实时性且具备数据积累能力的项目。在实际系统中，混合架构（如Joint为主+TBD兜底）往往能取得最佳平衡。选型时务必先明确目标数量、算力预算、数据标注能力和场景动态性，再决定范式方向。