1. 课程导入

无人机激光雷达视觉融合工程，是面向低空智能感知的一门交叉课程。它把激光雷达（LiDAR）的三维测距能力与可见光/红外相机的二维成像能力结合起来，让无人机在复杂环境中既能“看得清”，又能“量得准”。本课程不把两者当作简单叠加，而是围绕时间同步、空间标定、数据关联、融合估计与工程部署五个环节，建立一套可复现、可验证、可落地的技术体系。

一、学习目标：从“会调包”到“会设计链路”

课程目标分为四个层次。第一层是概念层：理解激光雷达的测距原理、点云数据结构、相机成像模型、坐标系变换与时间戳体系。第二层是方法层：掌握外参标定、时间同步、点云投影、图像特征提取、深度融合与后处理。第三层是系统层：能够把传感器、算力平台、飞控与地面站组织成一条完整的数据流，并处理丢帧、延迟、抖动等工程问题。第四层是应用层：面向测绘、巡检、避障、应急等场景，选择合适的融合策略与评价指标。

需要特别强调的是，融合不是“把点云染成彩色”就结束了。真正的融合工程要回答三个问题：同一时刻的激光点与像素是否对应同一物理点？融合结果是否比单传感器更稳定？在机载算力受限时，算法是否还能实时运行？这三个问题贯穿全课程。

二、核心概念：五个必须打牢的基础

• 坐标系与刚体变换：LiDAR坐标系、相机坐标系、机体坐标系、世界坐标系之间的旋转矩阵与平移向量，是融合的数学基础。
• 时间同步：激光雷达扫描一周需要时间，相机曝光也有时刻，若时间戳不对齐，运动中的物体会产生“错位重影”。
• 外参标定：确定LiDAR与相机之间的相对位姿，通常用标定板、角点或互信息方法求解。
• 数据关联：把三维点投影到图像平面，或把图像特征反投影到三维空间，建立点-像素对应关系。
• 融合估计：在检测、跟踪、建图等任务中，用卡尔曼滤波、因子图或深度学习网络融合两类观测。

三、整体框架：一条从传感器到决策的数据流

下图给出本课程贯穿始终的融合感知框架。左侧是传感器层，中间是标定与同步层，右侧是融合任务层，底部是评价与部署。理解这张图，就理解了整门课的主线。

四、方法流程：一次完整融合实验的六个步骤

1. 传感器选型与安装：确定LiDAR线数、视场角、相机分辨率与基线，记录安装位置。
2. 时间同步：使用PPS、PTP或硬件触发，把两类传感器时间戳统一到同一时钟域。
3. 外参标定：采集标定板数据，求解旋转矩阵与平移向量，并评估重投影误差。
4. 数据预处理：点云去畸变、滤波、地面分割；图像去噪、畸变校正。
5. 融合处理：投影、关联、特征融合或决策融合，输出检测/建图结果。
6. 评价与迭代：用真值或交叉验证评估精度、时延与鲁棒性，定位误差来源。

下面是一段典型的外参标定配置片段，实际工程中常以YAML或JSON保存：

# lidar_camera_calib.yaml
lidar_topic: /livox/lidar
camera_topic: /camera/image_raw
target_type: checkerboard
pattern_size: [8, 6]
square_size_m: 0.08
max_reproj_error_px: 1.5
time_offset_s: 0.012
output:
  rotation_matrix: R
  translation_vector: t

五、典型应用场景与融合价值

六、常见误区与复盘要点