1. 课程导入

当一架无人机同时搭载可见光相机、红外热像仪、激光雷达与惯性测量单元（IMU）时，它获得的并不是一幅“统一的世界图景”，而是多路彼此独立、坐标系不同、采样频率不同、时间基准也不同的数据流。可见光相机给出的是二维像素平面上的纹理与颜色，激光雷达给出的是三维点云中的距离与反射强度，IMU给出的是机体坐标系下的角速度与加速度，而全球导航卫星系统（GNSS）给出的是地理坐标系下的位置。若这些数据没有经过严格的时空对齐，融合结果就会出现“看得见却对不准、对得准却不同时”的问题：目标检测框落在错误的三维位置上，点云着色出现重影，运动估计产生漂移，避障决策可能因此失效。

多模态感知时空标定，就是研究如何建立无人机上多个传感器之间、以及传感器与机体/世界坐标系之间的空间变换关系与时间对应关系，使不同模态的数据能够在同一时空基准下被一致地表达、关联与融合。它包含两个不可分割的维度：空间标定解决“你在我的哪里”，即外参（旋转与平移）和内参（焦距、畸变、激光束角等）的估计；时间标定解决“你的这一刻对应我的哪一刻”，即传感器之间的时间延迟、时钟漂移与触发同步。二者共同构成多模态融合的“地基”，地基不稳，上层算法再先进也难以获得可靠结果。

一、为什么时空标定是无人机多模态感知的前提

多模态融合的收益来自互补性：相机擅长语义与纹理，激光雷达擅长几何与深度，IMU擅长高频运动，GNSS擅长绝对定位。但互补性只有在时空一致时才成立。空间上，若相机与激光雷达的外参存在1°旋转误差，在50米处的投影偏差可达约0.87米，足以让点云与图像中的同一目标错位；时间上，若相机与IMU之间存在20毫秒未补偿延迟，在10米/秒飞行速度下会产生约0.2米的运动错位，在快速旋转时误差更显著。因此，时空标定不是“可选的前处理”，而是决定融合上限的关键环节。

从系统角度看，标定参数还直接影响状态估计的可观测性与一致性。视觉-惯性系统中，相机与IMU的外参和时间延迟若被当作已知量，滤波器会将其误差吸收到速度与偏置中，导致短期看似正常、长期逐渐发散。将标定参数纳入在线估计或定期离线校准，是提升鲁棒性的常用策略。

二、整体知识框架：从参数到系统

本课程围绕“参数—方法—系统—应用”四层展开。参数层关注内参、外参、时间偏移、时钟模型与不确定性；方法层覆盖基于标定物的传统方法、基于运动约束的手眼标定、基于互信息的跨模态配准、基于连续时间轨迹的时空联合优化；系统层讨论多传感器硬件同步、触发方式、时间戳对齐与在线标定框架；应用层则面向目标定位、三维重建、避障、集群协同等任务。下图给出本章的知识框架与数据流关系。

三、学习目标与能力要求

完成本课程后，学习者应能够独立完成一套无人机多模态感知系统的时空标定流程，并具备问题定位与结果评估能力。具体目标如下：

• 概念层：准确区分内参、外参、时间偏移、时钟漂移等术语，理解各参数在融合链路中的作用位置。
• 方法层：掌握棋盘格相机标定、相机-激光雷达外参标定、视觉-惯性时间延迟估计、连续时间轨迹优化的基本原理与适用条件。
• 工程层：能够配置硬件触发与时间戳对齐，使用ROS/ROS2或离线工具完成数据采集、标定计算与参数验证。
• 评估层：能够通过重投影误差、点云-图像互信息、残差分布等指标判断标定质量，识别过拟合与不可观测问题。

四、典型应用场景与参数示例

不同任务对时空标定的精度与实时性要求差异明显。下表给出三类典型场景的关注重点与参考指标，便于在学习过程中建立“任务驱动”的标定意识。

五、常见误区与复盘提示

下面给出一段典型的标定参数配置片段，用于说明参数在工程文件中的组织方式。实际项目中，这些参数通常由标定工具生成，并被感知模块加载使用。

# camera_lidar_extrinsic.yaml
camera:
  intrinsics: [615.2, 615.8, 320.1, 240.3]   # fx, fy, cx, cy
  distortion: [-0.12, 0.03, 0.001, -0.002]   # k1, k2, p1, p2
lidar:
  type: "16线机械式"
  range_max: 100.0
extrinsic:
  rotation_quaternion: [0.707, 0.001, 0.707, 0.002]
  translation_m: [0.12, -0.05, 0.08]
time:
  offset_cam_to_lidar_ms: 12.5
  clock_drift_ppm: 3.2
  sync_mode: "hardware_trigger"