一、目标跟踪概述
大家好，我是你们这门课的主讲。今天咱们聊聊目标跟踪——这个在计算机视觉里既基础又让人头疼的问题。
说实话，我刚开始接触这个方向时，觉得不就是“框住一个目标，然后跟着它跑”嘛，能有多难？结果第一个项目就给我上了一课。嗯，咱们慢慢聊。
1.1 什么是目标跟踪
目标跟踪，说白了就是：给定视频第一帧中某个目标的位置（通常是一个矩形框），在后续帧中持续定位这个目标。
你想想看，这和目标检测不一样。检测是每帧都从头找目标，而跟踪是利用了时序信息——我知道上一帧目标在哪，这一帧它大概率不会跑太远。这就是跟踪的核心假设：目标运动是连续的。
核心定义：目标跟踪 = 初始化位置 + 在线更新 + 持续预测
我个人习惯把跟踪问题拆成三个子问题：
- 目标表征——怎么描述这个目标？（颜色？纹理？深度特征？）
- 运动模型——目标下一帧可能出现在哪？（匀速？加速？随机？）
- 外观更新——目标变了怎么办？（光照变了、角度变了、被挡住了）
这三个问题，说白了就是跟踪算法的全部秘密。后面每一章都会围绕它们展开。
1.2 目标跟踪的应用场景
我在项目中遇到过各种各样的跟踪需求。这里挑三个典型的说说：
安防监控
这是最传统的应用。比如你要跟踪一个可疑人物穿过多个摄像头。我记得有个项目，需要在商场里跟踪一个走失的小孩——摄像头那么多，人又长得像，难度其实很大。
- 跨摄像头跟踪（ReID + 跟踪）
- 人群中的单目标跟踪
- 长时间跟踪（目标可能消失又出现）
自动驾驶
这个领域对跟踪的要求特别苛刻。为什么？因为实时性和安全性。你想想看，如果车在高速上跑，跟踪算法掉了一帧，可能就出事了。
- 车辆跟踪（前车、侧方车辆）
- 行人跟踪（尤其是横穿马路的）
- 交通标志跟踪（虽然主要是检测，但跟踪能提供稳定性）
我的经验：在自动驾驶项目中，我建议把跟踪和检测做成一个闭环。检测给跟踪提供初始化，跟踪给检测提供ROI（感兴趣区域），两者互相补充。
无人机视觉
这个场景我特别喜欢，因为挑战最大。无人机本身在动，目标也在动，背景还在剧烈变化。
- 无人机跟拍（比如跟拍运动员、车辆）
- 无人机巡检（跟踪电线、管道等）
- 无人机编队（跟踪其他无人机）
我曾经做过一个无人机跟拍骑手的项目。一开始觉得很简单，结果发现——目标尺度变化太大了！骑手从远处骑过来，框子从几十像素变成几百像素，很多算法直接就崩了。
1.3 目标跟踪的主要挑战
好了，聊完了应用，咱们说说为什么跟踪这么难。我总结了四个最常见的坑：
| 挑战 | 描述 | 影响 |
|---|---|---|
| 遮挡 | 目标被其他物体部分或完全挡住 | 跟踪漂移、丢失目标 |
| 光照变化 | 光线突然变亮或变暗 | 外观模型失效 |
| 尺度变化 | 目标在画面中变大或变小 | 框子不准、特征丢失 |
| 快速运动 | 目标移动速度太快 | 搜索范围不够、跟丢 |
遮挡问题
这是跟踪里最头疼的问题，没有之一。为什么会这样？因为一旦目标被挡住，你拿不到正确的观测数据，模型就会学到错误的东西。
我曾经遇到过一个案例：跟踪一个人在树丛里走。树叶时不时挡住他，算法每次被挡住就更新模型，结果模型慢慢变成了“树叶”的样子。等目标走出来，算法已经不认识他了。
避坑指南：我曾经在项目里吃过这个亏。后来学乖了——一定要加遮挡检测机制。当检测到遮挡时，停止模型更新，只做预测。等目标重新出现再恢复更新。
光照变化
你想想看，目标从室内走到室外，亮度可能差好几个数量级。基于颜色直方图的跟踪算法在这种场景下基本就是废的。
我记得有个项目是在地下车库跟踪车辆。车库灯光忽明忽暗，车身的反光也在变。那时候我用的还是HOG特征，效果很差。后来换成深度特征，鲁棒性好了很多。
尺度变化
这个挑战其实很隐蔽。很多初学者会忽略它——反正框子大一点小一点不都一样吗？
不对。尺度变化直接影响两个东西：
- 特征提取——目标太小，特征不够；目标太大，背景干扰多
- 模型更新——尺度变了，你该用多大的区域去更新模型？
我建议的做法是：多尺度搜索。在每一帧，用不同尺度的框去匹配，选响应最高的那个。虽然计算量大一点，但效果提升很明显。
快速运动
这个挑战和帧率有关。如果目标一帧移动了50个像素，你的搜索半径只有30像素，那肯定跟丢。
怎么办？两个思路：
- 增大搜索范围——但计算量会变大
- 运动预测——用卡尔曼滤波或者光流法预测目标位置，缩小搜索范围
我个人更倾向于第二种。因为盲目增大搜索范围，不仅慢，还容易引入背景干扰。
1.4 本章知识体系
说了这么多，咱们用一张图来总结一下本章的核心内容：
这张图把咱们今天聊的内容串起来了。你想想看，从三个核心问题出发，到不同的应用场景，再到四个主要挑战——这就是目标跟踪的完整知识框架。
我的建议：初学者不要一上来就啃论文。先把这张图里的每个概念搞明白，知道它们之间是怎么关联的。后面学算法时，你会发现所有方法都是在解决这张图里的某个具体问题。
好了，第一章就到这里。记住我今天说的——跟踪不是检测，它利用了时序信息。这个认知会贯穿我们整个课程。
可可精品资料库