01
外参标定基础
什么是外参标定？外参矩阵的数学定义（旋转矩阵R、平移向量t），外参标定在视觉SLAM与自动驾驶中的核心作用。
核心概念矩阵
02
坐标系与变换
世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换关系，齐次坐标与刚体变换。
坐标系刚体变换
03
相机模型与内参
针孔相机模型、内参矩阵K的定义、畸变模型（径向畸变、切向畸变），内参标定与外参标定的区别。
内参畸变
04
手眼标定问题
Eye-in-Hand vs Eye-to-Hand 配置，AX=XB 问题的数学推导，Tsai法与Navy法。
手眼标定AX=XB
05
2D-3D对应点求解PnP
PnP问题定义，DLT直接线性变换法，P3P算法原理，EPnP算法。
PnPDLTEPnP
06
3D-3D对应点求解ICP
ICP问题定义，SVD求解法，点对点ICP与点对面ICP，ICP的收敛性与初值依赖。
ICPSVD
07
单应矩阵与基础矩阵
单应矩阵H的估计（4点法），基础矩阵F与本质矩阵E的估计（8点法），从E恢复R,t。
对极几何8点法
08
非线性优化与BA
重投影误差定义，Levenberg-Marquardt算法，稀疏BA与图优化，g2o/Ceres库简介。
BA图优化
09
多传感器外参标定
LiDAR-Camera标定（点云投影到图像），IMU-Camera标定（预积分与视觉对齐），Radar-Camera标定。
LiDARIMURadar
10
标定板设计与检测
棋盘格、AprilTag、ChArUco板，角点检测算法（Harris、Shi-Tomasi），亚像素精度提取。
标定板角点检测
11
在线标定与自标定
基于SLAM的在线外参估计，利用道路结构（车道线、杆状物）的自标定方法。
在线标定自标定
12
标定精度评估指标
重投影误差（RPE），相对位姿误差（RPE），绝对轨迹误差（ATE），标定不确定度分析。
评估指标ATE
13
目标跟踪基础
目标跟踪问题定义，跟踪 vs 检测的区别，跟踪的难点（遮挡、形变、光照变化、快速运动）。
跟踪基础难点
14
经典跟踪算法
光流法（LK光流），Meanshift/Camshift，卡尔曼滤波跟踪，粒子滤波跟踪。
光流卡尔曼粒子滤波
15
相关滤波跟踪
MOSSE、CSK、KCF/DCF原理，循环矩阵与核技巧，多通道特征（HOG、CN）。
相关滤波KCF
16
深度学习跟踪（一）
Siamese网络架构（SiamFC、SiamRPN），模板更新策略，Anchor机制。
SiameseSiamRPN
17
深度学习跟踪（二）
基于检测的跟踪（Tracktor++），Transformer跟踪器（TransT、MixFormer），端到端跟踪。
Transformer端到端
18
多目标跟踪（MOT）
SORT算法（卡尔曼滤波+匈牙利匹配），DeepSORT（外观特征+级联匹配），ByteTrack。
MOTDeepSORTByteTrack
19
跟踪精度评估指标
成功率图（AUC），精确度图（Precision Plot），MOTA/MOTP，IDF1，HOTA。
MOTAHOTA
20
外参误差对跟踪的影响
投影误差导致的目标定位偏移，外参漂移时的跟踪丢失现象，仿真分析。
误差分析仿真
21
联合优化方法
将外参作为变量加入跟踪优化，滑动窗口联合优化外参与轨迹，边缘化技术。
联合优化边缘化
22
实战：LiDAR-Camera融合跟踪
点云投影到图像生成深度先验，3D检测框与2D检测框的关联。
LiDAR-Camera融合
23
实战：多相机联合标定与跟踪
多相机重叠区域标定，跨相机目标交接，全局ID管理。
多相机交接
24
实战：动态场景外参标定
利用运动物体（车辆、行人）进行标定，动态SLAM中的外参估计。
动态标定运动物体
25
实战：标定工具箱使用
Kalibr、OpenCV calibrateCamera、Apollo标定工具、MATLAB标定工具箱。
KalibrOpenCVApollo
26
实战：跟踪算法库使用
OpenCV跟踪API、GOTURN、SiamRPN++部署、ByteTrack源码解析。
OpenCVByteTrack
27
实战：外参标定与跟踪系统搭建
ROS环境下的标定节点与跟踪节点，数据同步与时间戳对齐。
ROS系统搭建
28
实战：精度调优与故障排查
重投影误差过大怎么办？跟踪频繁丢失如何解决？外参突然跳变如何处理？
调优故障排查
29
前沿进展
无监督/自监督外参标定，基于NeRF的标定，端到端可微跟踪，大模型在跟踪中的应用。
NeRF大模型
30
课程总结与项目实战
综合项目——多传感器融合的鲁棒目标跟踪系统，从标定到跟踪的全流程实现。
综合项目全流程