📚 课程目录第3章视觉感知基础

3. 视觉感知基础

在无人机移动平台视觉降落任务中，视觉感知链路的第一环并不是“识别降落标志”，而是把图像中的像素坐标可靠地映射到物理世界坐标。相机模型、内参外参标定、畸变校正与图像预处理共同决定了这条映射链的精度上限。若这一环存在系统误差，后续检测、跟踪与位姿估计再优秀，也会在最后几米出现明显漂移。

最常用的相机模型是针孔模型。设相机坐标系下一点为 P_c = (X_c, Y_c, Z_c)，其投影到归一化平面后得到 (x, y) = (X_c/Z_c, Y_c/Z_c)，再经内参矩阵 K 映射到像素坐标：

u   fx  0  cx   x
v =  0  fy  cy · y
1    0   0   1   1

K = [[fx, 0, cx],
     [0, fy, cy],
     [0,  0,  1]]

其中 fx、fy 为焦距（像素单位），cx、cy 为主点。内参描述相机自身成像特性，外参描述相机相对世界坐标系的位姿，通常由旋转矩阵 R 与平移向量 t 组成。无人机降落时，相机随云台或机体运动，外参会动态变化，因此视觉系统往往需要在线估计或借助 IMU、云台角度进行补偿。

核心结论：内参决定“像素怎么对应光线方向”，外参决定“相机在世界中的位置和朝向”。降落精度问题，多数可追溯到这两者的标定误差或时变未补偿。

内参标定常用棋盘格或圆点阵列标定板，通过多姿态拍摄，利用角点检测与重投影误差最小化求解。外参标定则分为两类：一是相机与机体/云台之间的固定安装关系，二是相机相对降落标志或世界坐标系的实时位姿。前者可离线标定，后者常由 PnP 算法在线求解。

标定质量可用重投影误差衡量。工程上，内参标定重投影误差建议控制在 0.3 像素以内；若超过 0.5 像素，应检查标定板平整度、拍摄姿态覆盖度和角点提取质量。外参标定还需关注安装重复性，振动导致的微小偏移会直接转化为降落横向偏差。

标定对象	常用方法	关键输出	典型误差影响
内参	棋盘格多姿态标定	fx、fy、cx、cy、畸变系数	尺度偏差、主点偏移
相机-机体外参	手眼标定/机械测量	R、t	降落点系统性偏移
相机-标志外参	PnP/ArUco 位姿解算	实时 R、t	高度与横向抖动
时间同步	硬件触发/时间戳对齐	曝光时刻	运动模糊与滞后

真实镜头存在径向畸变与切向畸变。径向畸变使直线弯曲，切向畸变由镜头与传感器不平行引起。常用 Brown-Conrady 模型：

x_dist = x(1 + k1 r^2 + k2 r^4 + k3 r^6) + 2 p1 x y + p2(r^2 + 2x^2)
y_dist = y(1 + k1 r^2 + k2 r^4 + k3 r^6) + p1(r^2 + 2y^2) + 2 p2 x y

校正时通常先 initUndistortRectifyMap 生成映射表，再用 remap 实时查表，避免逐帧重复计算。对于广角镜头，校正后边缘会被裁切或出现黑边，需要根据降落标志可能出现的视场区域决定是否保留全部像素。

图像预处理的目标是提升标志检测的稳定性，而不是“让图看起来更清楚”。典型步骤包括：灰度化、去噪、直方图均衡或 CLAHE、自适应阈值、形态学开闭运算、ROI 裁剪。降落场景中，地面纹理、阴影和反光差异大，固定阈值往往失效，因此自适应阈值与局部对比度增强更常用。

某次室外降落测试中，无人机在 8 米高度能稳定识别 H 标志，但降到 2 米时出现持续横向偏移。复盘发现：广角镜头边缘畸变未完全校正，标志靠近画面边缘时角点位置被拉伸；同时相机-机体外参使用出厂默认值，未考虑云台安装偏差。重新标定内参并加入畸变校正后，偏移量从约 35 厘米降至 8 厘米以内。

另一类常见问题是图像预处理过度。例如为增强对比度反复使用强直方图均衡，导致地面高光区域饱和，标志黑白边界被“抹平”，检测器反而更容易丢帧。正确做法是：先固定曝光或使用自动曝光锁定，再采用 CLAHE 限制对比度放大倍数，最后用自适应阈值提取候选区域。

实操建议：标定完成后，保存内参与畸变系数到配置文件，并在每次飞行前检查相机分辨率、曝光模式与云台角度是否与标定条件一致。若更换镜头、调整焦距或改变分辨率，必须重新标定。

误区提醒：把“图像看起来清晰”等同于“标定准确”是常见错误。清晰度只影响特征提取，标定误差影响的是几何映射。降落任务中，几何误差比清晰度更致命。

综上，相机模型给出映射框架，内参外参标定确定映射参数，畸变校正消除镜头非线性，图像预处理提升特征稳定性。四者构成视觉降落感知链的基础层，任何一环的疏忽都会在最终降落精度上被放大。工程实践中应把标定与预处理当作可测量、可复现、可验证的环节，而不是一次性配置。