2. 传感器基础
在Camera-LiDAR-Radar融合感知工程中，理解三类传感器的物理本质，是后续标定、时间同步、特征提取与融合决策的前提。三者并非简单的“谁替代谁”，而是从不同物理维度观测同一场景：Camera捕捉二维投影纹理，LiDAR测量三维几何距离，Radar探测目标径向运动与微动特性。只有先建立“物理原理—数据形式—能力边界”的对应关系，才能在工程中做出合理的传感器选型与融合策略。
一、核心原理：三种物理观测机制
Camera（相机）基于光电效应与小孔成像模型。外界光线经镜头聚焦到CMOS/CCD靶面，光子转换为电子，形成灰度或彩色像素阵列。其核心参数包括焦距、光圈、曝光时间与内参矩阵。相机输出的是二维图像，每个像素记录的是场景在成像平面上的投影强度，深度信息在单目情况下完全丢失，需依赖几何约束或学习先验恢复。
LiDAR（激光雷达）基于飞行时间（ToF）测距。激光器发射近红外脉冲，接收器测量回波时间差，结合光速计算距离；同时通过旋转棱镜、MEMS振镜或光学相控阵改变光束方向，获得水平与垂直视场内的扫描点。每个点包含三维坐标（x, y, z）、反射强度与时间戳，最终形成稀疏但精确的点云。
Radar（毫米波雷达）基于电磁波发射与接收。调频连续波（FMCW）信号遇到目标后反射，接收信号与发射信号混频产生中频信号，其频率差对应距离，多普勒频移对应径向速度，天线阵列相位差对应角度。Radar输出的是距离、方位、速度、RCS（雷达截面积）等参数，对金属敏感，对雨雾烟尘穿透力强。
二、数据形式与工程接口
三类传感器的数据形式差异，直接决定了融合架构的设计。Camera输出稠密图像，适合CNN/Transformer处理；LiDAR输出稀疏点云，常用PointNet、VoxelNet或柱面投影处理；Radar输出点迹或距离-多普勒谱，需先做CFAR检测与聚类。工程中常见的接口参数如下：
# 典型传感器数据接口参数
camera:
resolution: 1920x1080
fps: 30
format: YUV422 / RAW10
timestamp: 硬件触发 + PTP
lidar:
channels: 32 / 64 / 128
points_per_sec: 1.2M
range: 0.5~200m
accuracy: ±2cm
format: PCD / ROS PointCloud2
radar:
modulation: FMCW
range_res: 0.15m
vel_res: 0.1m/s
fov: 120°(H) x 30°(V)
output: 点迹 + 跟踪目标列表三、优缺点对比与典型应用场景
| 维度 | Camera | LiDAR | Radar |
|---|---|---|---|
| 物理量 | 光强投影 | 飞行时间距离 | 电磁波反射 |
| 数据形式 | 稠密2D图像 | 稀疏3D点云 | 点迹/谱/目标列表 |
| 测距能力 | 间接、精度低 | 直接、厘米级 | 直接、分米级 |
| 测速能力 | 需光流/帧差 | 需多帧配准 | 直接多普勒测速 |
| 环境鲁棒性 | 受光照/雨雾影响大 | 受雨雾衰减 | 全天候穿透强 |
| 成本 | 低 | 高 | 中 |
| 典型场景 | 车道线、标志、分类 | 障碍物定位、SLAM | ACC、盲区、AEB |
四、案例与场景：为什么需要融合
以城市NOA场景为例：Camera识别红绿灯与车道线，但逆光或夜间易失效；LiDAR提供精确三维边界，但雨雾天点云衰减；Radar在雨雾中仍能稳定输出前车距离与速度，但角分辨率低，难以区分相邻车道。三者融合后，系统可在Camera失效时用LiDAR+Radar维持障碍物检测，在LiDAR衰减时用Radar维持纵向控制，在Radar角分辨率不足时用Camera+LiDAR完成横向定位。这正是“物理互补”而非“冗余堆叠”的工程价值。
五、常见误区与复盘
- 误区一：LiDAR可以替代Camera。LiDAR无纹理与颜色信息，无法识别交通标志文字与信号灯颜色，二者是互补关系。
- 误区二：Radar精度低所以不重要。Radar的直接测速与全天候能力是AEB与ACC的核心保障，尤其在Camera/LiDAR失效时不可替代。
- 误区三：融合就是简单叠加。若未做时间同步与外参标定，融合结果可能比单传感器更差，出现“鬼影”与“错位”。
- 复盘要点：选型时先明确场景需求——高速巡航优先Radar+ Camera，城市低速泊车优先LiDAR+ Camera，矿区/港口等恶劣环境需强化Radar与LiDAR组合。