01
课程导论:什么是激光雷达-相机标定?
为什么需要对齐?应用场景(自动驾驶、机器人、AR)概览。
概览入门
02
坐标系基础
世界坐标系、相机坐标系、图像坐标系、像素坐标系定义与转换关系。
坐标数学
03
相机成像模型
针孔相机模型原理、内参矩阵(fx, fy, cx, cy)详解。
相机内参
04
相机畸变模型
径向畸变与切向畸变、畸变校正原理与OpenCV实现。
畸变OpenCV
05
激光雷达工作原理
TOF与三角测距原理、点云数据格式(PCD, BIN, ROS bag)。
LiDAR点云
06
激光雷达坐标系
LiDAR坐标系定义、点云在空间中的表示(x, y, z, intensity)。
坐标系表示
07
刚体变换基础
旋转矩阵、平移向量、齐次坐标与4x4变换矩阵。
变换矩阵
08
旋转表示方法
欧拉角、旋转向量(Rodrigues)、四元数及其相互转换。
旋转四元数
09
外参标定概念
什么是外参?旋转矩阵R与平移向量t在LiDAR-Camera中的作用。
外参标定
10
联合标定原理
将3D点云投影到2D图像平面的数学公式推导。
投影公式
11
标定板设计
棋盘格、ArUco码、圆形标定板的选择与制作规范。
标定板设计
12
2D-3D对应点获取
手动选取 vs 自动检测标定板角点与点云边缘。
对应点检测
13
PnP问题求解
Perspective-n-Point问题、DLT与EPnP算法简介。
PnP算法
14
最小二乘优化
线性最小二乘与非线性优化(Levenberg-Marquardt)在外参求解中的应用。
优化LM
15
OpenCV实战(一)
使用cv2.findChessboardCorners检测棋盘格角点。
OpenCV角点
16
OpenCV实战(二)
使用cv2.solvePnP求解外参矩阵。
solvePnP外参
17
PCL实战(一)
使用PCL读取点云、体素滤波、提取标定板平面点云。
PCL滤波
18
PCL实战(二)
点云中提取标定板边缘与角点坐标。
边缘角点
19
Autoware标定工具
介绍Autoware的lidar_camera_calibration工具包使用流程。
Autoware工具
20
ROS集成标定
基于ROS的LiDAR-Camera标定节点编写与数据录制。
ROS节点
21
标定结果评估
重投影误差计算、可视化投影效果、误差分析。
评估误差
22
多传感器标定
LiDAR与多目相机、LiDAR与IMU联合标定思路。
多传感器IMU
23
标定精度影响因素
同步误差、光照条件、标定板材质对结果的影响。
精度因素
24
实战案例(一)
16线激光雷达与单目相机标定全流程。
16线单目
25
实战案例(二)
32线激光雷达与双目相机标定全流程。
32线双目
26
实战案例(三)
固态激光雷达与RGB-D相机标定。
固态RGB-D
27
标定结果在SLAM中的应用
将外参用于激光-视觉融合SLAM(如LIO-SAM)。
SLAM融合
28
标定结果在目标检测中的应用
点云投影到图像辅助2D检测,或图像引导3D检测。
检测投影
29
常见问题与调试
标定失败原因分析、点云与图像不对齐的排查方法。
调试排查
30
课程总结与进阶
从传统标定到在线标定、端到端学习标定方法展望。
总结进阶