2. 自动驾驶感知基础
自动驾驶的感知系统不是单一传感器的独角戏，而是摄像头、激光雷达、毫米波雷达等多源传感器的协同作战。理解每种传感器的物理原理与数据特点，是设计多任务学习模型和联合优化策略的前提。本章从传感器原理出发，逐步展开数据特点、标定与同步方法，最后概述典型感知任务，为后续章节的多任务网络设计奠定基础。
一、核心原理：三类传感器的物理机制
摄像头基于小孔成像与光电转换原理，将三维世界投影为二维像素阵列。其数据是稠密的RGB图像，语义信息丰富，能识别颜色、纹理、交通标志和车道线，但缺乏直接深度信息，且受光照、雨雾影响显著。车载摄像头通常采用卷帘快门，高速运动时会产生果冻效应。
激光雷达通过发射激光脉冲并测量飞行时间（ToF）获取距离，扫描形成三维点云。其数据是稀疏但精确的三维坐标（x, y, z）加反射强度，测距精度可达厘米级，不受光照影响，但雨雪雾天气衰减明显，且点云无序、稀疏，直接卷积处理困难。
毫米波雷达利用调频连续波（FMCW）的多普勒效应，同时测量距离和径向速度。其数据是稀疏的雷达点或距离-多普勒-角度谱，穿透雨雾能力强，测速精度高，但角分辨率低，点云稀疏且噪声大，难以区分静止物体。
三类传感器的互补性决定了融合的必要性：摄像头提供语义，激光雷达提供精确几何，毫米波雷达提供全天候测速。多任务学习正是要在共享特征空间中同时利用这些异构信息。
二、数据特点与融合挑战
三类传感器的数据在维度、密度、坐标系和更新频率上差异巨大。摄像头数据是规则网格，适合卷积；激光雷达点云是无序集合，需要PointNet类或体素化处理；毫米波雷达数据稀疏且含速度维度，常以BEV特征图形式表达。融合时面临三大挑战：空间对齐（不同坐标系）、时间对齐（不同采样率与延迟）、语义对齐（不同模态的特征分布）。
| 维度 | 摄像头 | 激光雷达 | 毫米波雷达 |
|---|---|---|---|
| 数据形式 | 稠密RGB图像 | 稀疏三维点云 | 稀疏点/距离-多普勒谱 |
| 测距精度 | 间接（依赖算法） | 厘米级 | 分米级 |
| 测速能力 | 无直接测速 | 间接（多帧） | 直接径向速度 |
| 环境鲁棒性 | 受光照/雨雾影响大 | 受雨雾影响较大 | 全天候能力强 |
| 典型频率 | 30/60 Hz | 10/20 Hz | 20/50 Hz |
| 主要感知任务 | 分类、分割、检测 | 3D检测、定位、建图 | 测速、测距、目标跟踪 |
三、标定与同步方法流程
标定分为内参标定和外参标定。内参标定确定摄像头焦距、主点、畸变系数，常用张正友棋盘格法；外参标定确定各传感器相对车体坐标系的旋转和平移，常用联合标定法（如摄像头-激光雷达用棋盘格或标定板，雷达用角反射器）。
时间同步分为硬同步和软同步。硬同步通过PPS脉冲或GPS授时触发所有传感器同时曝光/采样；软同步通过时间戳插值对齐，适用于无法硬触发的场景。空间对齐则将各传感器数据统一到车体坐标系或BEV网格。
# 典型标定与同步流程（伪代码）
1. 采集标定数据：多姿态棋盘格 + 角反射器 + 同步触发记录
2. 内参标定：cv2.calibrateCamera() → K, dist_coeffs
3. 外参标定：solvePnP() 或 手眼标定 → R, t (LiDAR→Camera)
4. 时间同步：检查时间戳，插值对齐到统一时间基准
5. 空间对齐：将点云投影到图像平面，或图像特征反投影到BEV
6. 验证：重投影误差 < 2px，时间偏差 < 5ms标定不是一劳永逸的。车辆振动、温度变化、碰撞都会导致外参漂移。量产车通常需要在线标定与漂移检测，定期用道路特征（车道线、路牌）进行自标定。
四、典型感知任务概述与误区复盘
在统一时空基准下，感知任务可分为：2D/3D目标检测（输出类别与边界框）、语义/实例分割（像素级分类）、目标跟踪与运动预测（时序关联与轨迹预测）、深度估计与占据栅格（三维场景重建）。这些任务共享底层特征，正是多任务学习的用武之地。
常见误区一：认为激光雷达可以完全替代摄像头。实际上激光雷达缺乏语义和颜色信息，无法识别交通标志和信号灯。
常见误区二：忽视时间同步精度。10ms的时间偏差在120km/h下对应约33cm的空间误差，足以导致融合失败。
常见误区三：标定后从不验证。外参漂移是量产感知退化的隐形杀手，必须建立在线监控与自标定机制。
复盘来看，感知系统的核心在于“时空对齐 + 特征互补”。只有把摄像头、激光雷达、毫米波雷达的数据在统一坐标系和时间轴上对齐，才能为后续的多任务学习提供干净、一致的输入。下一阶段的多任务网络设计，将直接建立在本章的标定与同步基础之上。