2. 传感器基础
联合标定的本质，是让三个异构传感器在同一时空基准下“说同一种语言”。要做到这一点，必须先理解每个传感器如何把物理世界转换成数字信号，以及这些信号天然携带哪些误差。本节从工作原理、数据特性、坐标系和误差源四个维度，建立后续标定算法的物理直觉。
一、三种传感器的工作原理与数据特性
Camera（相机）通过镜头把三维场景投影到二维成像平面，CMOS/CCD 像元将光子转换为电荷，再经 ADC 量化为灰度或 RGB 像素。它输出的是稠密的二维图像，具有极高的角分辨率，但深度信息在投影中丢失，且对光照、曝光、运动模糊敏感。相机的时间戳通常由曝光触发，存在滚动快门逐行曝光带来的行间时间差。
LiDAR（激光雷达）通过发射激光脉冲并测量回波飞行时间（ToF）获得距离，同时记录发射方位角与俯仰角，从而得到三维点云。机械旋转式 LiDAR 逐列扫描，固态 LiDAR 则通过 OPA 或 MEMS 扫描。点云是稀疏、无序、非均匀的，近处密、远处疏，且每个点带有强度、时间戳、环号等属性。LiDAR 对光照不敏感，但受雨雾、反射率、多回波影响。
IMU（惯性测量单元）由三轴加速度计和三轴陀螺仪组成，分别测量比力（含重力）和角速度。它输出高频（通常 100–1000 Hz）的连续时序数据，短时精度高、动态响应快，但积分后漂移严重，零偏和噪声随时间累积。IMU 是唯一能提供高频姿态与运动先验的传感器，也是标定中时间对齐的关键参考。
二、坐标系定义与变换链
标定问题最终都归结为坐标系之间的刚体变换。工程中通常定义四个核心坐标系：世界系 W（全局参考，如 ENU 或局部地图）、IMU 系 I（机体基准，原点在 IMU 中心）、LiDAR 系 L（原点在激光发射中心）、Camera 系 C（原点在光心，Z 轴沿光轴）。它们之间通过旋转矩阵 R 和平移向量 t 连接，写成齐次形式即 T = [R | t]。
变换链可以表示为：点在世界系下的坐标 p_W，经 T_WI 到 IMU 系，再经 T_IL 到 LiDAR 系，或经 T_LC 到 Camera 系。联合标定的目标就是求解 T_IL 和 T_LC（以及时间偏移 t_d），使得同一物理点在 LiDAR 点云和 Camera 图像上的投影一致。注意旋转矩阵必须满足正交性 R^T R = I 且 det(R) = 1，优化时常用李代数 so(3) 参数化以避免约束破坏。
三、时间同步与数据关联
三个传感器的采样频率和触发机制不同：IMU 最高频且连续，LiDAR 逐帧扫描，Camera 按曝光时刻成像。时间对齐的精度直接决定标定质量。常用做法是以 IMU 为时间基准，对 LiDAR 帧内每个点做运动补偿（去畸变），对 Camera 曝光时刻做插值对齐。
# 时间对齐伪代码示例
for each lidar_point p at time t_p:
pose_I = imu_interpolate(t_p) # IMU 位姿插值
p_undistorted = T_I0_I(t_p) * p # 运动补偿到帧起始时刻
for each camera_frame at time t_c:
pose_I_c = imu_interpolate(t_c) # 曝光时刻位姿
T_LC_est = solve_extrinsic(p_undistorted, image_features)四、常见误差源与影响
| 传感器 | 误差类型 | 典型表现 | 对联合标定的影响 |
|---|---|---|---|
| Camera | 径向/切向畸变 | 直线变弯，边缘拉伸 | 投影点偏移，外参估计有偏 |
| Camera | 滚动快门 | 高速运动时图像倾斜 | 与 LiDAR 时间对齐困难 |
| LiDAR | 运动畸变 | 一帧内点云错位 | 特征匹配错误，外参不准 |
| LiDAR | 反射率偏差 | 低反射面测距偏大 | 点云平面拟合误差 |
| IMU | 零偏不稳定性 | 姿态缓慢漂移 | 时间对齐基准漂移 |
| IMU | 尺度因子误差 | 积分位移比例失真 | 运动补偿不准确 |
五、案例与复盘：一次标定失败的分析
某次车载标定中，LiDAR 与 Camera 的外参在静态场景下表现良好，但车辆行驶后投影明显偏移。复盘发现：LiDAR 帧内运动畸变未补偿，且 Camera 使用滚动快门，两者时间戳相差约 15 ms。修正方案是：先用 IMU 对 LiDAR 点云做去畸变，再以曝光时刻为基准插值 IMU 位姿，最后重新优化外参。修正后重投影误差从 8 像素降至 1.5 像素。