1. 课程导论
人脸检测追踪的应用场景 · 技术挑战 · 课程目标与大纲
🎯 应用场景
人脸检测追踪已渗透至安防、消费电子、医疗等关键领域
- 安防与监控 — 实时人脸布控、轨迹追踪、人群密度分析。
- 智能门禁/考勤 — 高精度活体检测 + 稳定追踪，无感通行。
- 直播与社交 — 人脸特效、表情驱动、AR 贴纸，要求低延迟与防抖。
- 人机交互 — 视线估计、姿态识别、驾驶员疲劳检测。
- 医疗健康 — 远程心率估计、面部神经康复评估。
⚡ 技术挑战
人脸追踪面临遮挡、光照变化、框抖动、实时性及多尺度等挑战
| 挑战类别 | 具体描述 | 影响 |
|---|---|---|
| 遮挡与截断 | 口罩、眼镜、手部遮挡或目标部分离开画面 | 检测置信度下降，追踪丢失或ID切换 |
| 光照与姿态 | 强光/暗光、大角度侧脸、低头 | 特征不稳定，检测框漂移 |
| 检测框抖动 | 单帧检测噪声、小目标抖动、边缘闪烁 | 视觉体验差，后处理平滑难度大 |
| 实时性要求 | 边缘设备算力有限，需同时保证精度与速度 | 算法选型与工程优化折衷 |
| 多尺度与密集场景 | 远距离小脸、多人重叠 | 漏检、误检、追踪关联混乱 |
📌 课程目标
从检测器原理到追踪算法，再到框稳定平滑实战
- 掌握主流人脸检测器 — RetinaFace、YOLOv5/v8 等架构与训练技巧。
- 深入多目标追踪范式 — DeepSORT、ByteTrack、OC-SORT、BoT-SORT。
- 理解检测框抖动根源 — 分析噪声、关联误差、运动模型。
- 精通平滑与稳定方法 — 卡尔曼滤波、EMA、Savitzky‑Golay、One‑Euro 等。
- 工程落地与优化 — 边缘部署、实时系统、后处理流水线。
📚 课程大纲
课程三大模块：检测器 → 追踪器 → 框稳定平滑
| 章节范围 | 核心内容 | 实战侧重 |
|---|---|---|
| 第1–6章 | 人脸检测基础、深度学习检测器、RetinaFace、YOLOv5/v8、评估指标 | 训练自己的检测模型 |
| 第7–12章 | 多目标追踪范式、DeepSORT、ByteTrack、OC-SORT、BoT-SORT、评估指标 | 追踪器配置与调优 |
| 第13–24章 | 抖动分析、卡尔曼/EMA/低通/SG/One-Euro/非线性/自适应平滑、时序一致性、插值、多模态、后处理 | 框稳定算法实现与对比 |
| 第25–30章 | 工程实现、实时系统、边缘部署、实战项目一/二、总结展望 | 完整系统搭建与部署 |