4. 视觉传感器原理

在无人机激光雷达与视觉融合系统中，相机不仅是“拍照设备”，更是把三维世界投影为二维像素的几何与光度测量仪器。要理解后续的激光-视觉标定、深度补全与融合定位，必须先掌握相机模型、内外参、畸变、曝光与白平衡，以及双目与RGB-D视觉的基本原理。本节从成像链路出发，逐层建立可计算的视觉传感器模型。

一、针孔相机模型：从三维点到像素

最基础的相机模型是针孔模型。设相机坐标系下一点 P_c = (X_c, Y_c, Z_c)，归一化平面坐标为 (x, y) = (X_c/Z_c, Y_c/Z_c)，再经内参矩阵 K 映射到像素坐标：

u   fx  0  cx   x
v =  0  fy  cy · y
1    0   0   1   1

其中 fx = f/dx, fy = f/dy 为像素焦距，
cx, cy 为主点（光轴与像平面交点）。

内参描述相机自身属性，包括焦距、主点、像素尺度，通常通过棋盘格标定获得。外参描述相机相对世界坐标系的位姿，由旋转矩阵 R 与平移向量 t 组成，把世界点变换到相机坐标系：P_c = R·P_w + t。内参决定“投影到哪个像素”，外参决定“相机在哪里、朝哪看”，二者共同构成完整的成像几何。

二、畸变：真实镜头的非线性偏差

针孔模型假设光线严格直线传播，但真实镜头存在畸变。常见两类：径向畸变由镜头曲率引起，表现为桶形或枕形；切向畸变由镜头与像平面不平行引起。工程上常用多项式模型：

x_dist = x(1 + k1·r² + k2·r⁴ + k3·r⁶) + 2p1·xy + p2(r² + 2x²)
y_dist = y(1 + k1·r² + k2·r⁴ + k3·r⁶) + p1(r² + 2y²) + 2p2·xy
r² = x² + y²

其中 k1,k2,k3 为径向系数，p1,p2 为切向系数。去畸变通常在标定后一次性完成，也可在投影时实时计算。对无人机视觉而言，广角镜头畸变显著，若忽略会导致点云边缘投影错位，尤其在图像四周更明显。

三、曝光与白平衡：光度一致性基础

曝光控制图像亮度，由光圈、快门、ISO 共同决定。无人机在高速运动与光照剧变场景下，自动曝光可能产生运动模糊或过曝，影响特征提取与光度一致性。白平衡则校正不同色温光源下的颜色偏差，使白色物体在不同光照下仍呈现中性色。对融合系统而言，曝光与白平衡影响的是“像素值”而非“几何位置”，但会显著影响基于光度误差的优化，例如直接法视觉里程计与神经辐射场重建。

• 曝光策略：优先保证短曝光以抑制运动模糊，必要时提高 ISO 并配合降噪。
• 白平衡策略：固定色温或使用灰度世界假设，避免帧间颜色跳变。
• 融合影响：激光强度与图像灰度若未做光度归一化，融合权重会偏向单一模态。

四、双目与RGB-D视觉基础

双目视觉通过两个已知基线的相机同时成像，利用视差 d = u_L - u_R 计算深度：Z = f·B / d，其中 B 为基线，f 为焦距。视差越大，深度越近；视差越小，深度越远。双目无需主动光源，但在弱纹理、重复纹理区域易失效。RGB-D相机则通过结构光或飞行时间（ToF）直接获取深度，输出对齐的彩色图与深度图，近距离精度高，但受阳光干扰、量程有限。

五、案例：激光点云投影到图像

假设已标定相机内参 K、畸变系数 D，以及激光雷达到相机的外参 R, t。将激光点 P_l 投影到图像的流程为：

P_c = R · P_l + t
若 Z_c <= 0，丢弃该点
x = X_c / Z_c, y = Y_c / Z_c
应用畸变模型得到 x_d, y_d
u = fx · x_d + cx
v = fy · y_d + cy
若 (u,v) 在图像范围内，则建立激光-像素对应关系

该对应关系是后续颜色赋值、深度补全与联合标定优化的基础。若外参存在 1° 旋转误差，在 50m 处可能产生近 1m 的投影偏移，因此外参需精细标定并在线校验。

六、常见误区与复盘

• 误区一：只标内参不标外参。融合系统必须同时获得相机内参与雷达到相机外参。
• 误区二：忽略畸变。广角镜头边缘畸变可达数十像素，直接投影会严重错位。
• 误区三：曝光与白平衡随意变化。帧间光度不一致会破坏直接法优化与颜色融合。
• 误区四：把双目深度当作真值。双目在弱纹理区深度缺失，需与激光点云互补。
• 复盘要点：建立“内参-外参-畸变-光度”四层检查清单，每次数据采集前逐项确认。

综上，相机模型提供几何投影关系，内外参决定坐标变换，畸变修正真实镜头偏差，曝光与白平衡保证光度一致性，双目与RGB-D则提供不同形式的深度信息。理解这五层内容，才能在无人机激光雷达视觉融合中正确建立像素与三维点的对应关系，并为后续标定、融合与优化打下可靠基础。