4. 视觉感知基础
在无人机雷达视觉融合感知系统中，视觉支路承担着高分辨率语义获取、目标分类与纹理识别的关键任务。要让图像像素与雷达点云在同一空间基准下对齐，必须先理解相机如何把三维世界投影为二维图像，并通过标定获得可计算的几何映射关系。本节围绕成像模型、内外参标定、图像预处理以及目标检测与语义分割基础展开，形成从“像素从哪来”到“像素表达什么”的完整链路。
一、相机成像模型：从世界坐标到像素坐标
相机成像可抽象为四个坐标系的连续变换：世界坐标系、相机坐标系、图像物理坐标系和像素坐标系。针孔模型是最常用的近似，其核心是透视投影：三维点经过外参变换进入相机坐标系，再经内参矩阵投影到归一化平面，最后经像素缩放与主点偏移得到像素坐标。
设世界点为 P_w，外参为旋转 R 与平移 t，内参矩阵为 K，则完整投影可写为：
s * [u, v, 1]^T = K * [R | t] * [X_w, Y_w, Z_w, 1]^T
K = [ fx 0 cx
0 fy cy
0 0 1 ]其中 fx、fy 为焦距的像素表示，cx、cy 为主点。实际镜头还存在径向畸变与切向畸变，通常用 k1、k2、k3、p1、p2 描述。无人机视觉中，广角镜头畸变明显，若忽略畸变，边缘区域的雷达-视觉融合误差会显著增大。
二、内外参标定：建立可计算的几何基准
内参标定通常使用棋盘格或圆点标定板，从多角度拍摄后，利用角点检测与张正友标定法求解 K 和畸变系数。外参标定则分为相机-相机、相机-IMU、相机-雷达等类型。在雷达视觉融合中，核心是相机-雷达外参：求取从雷达坐标系到相机坐标系的旋转和平移。
常见流程如下：
- 同步采集雷达点云与相机图像，确保时间戳对齐；
- 在两者中选取同名目标，如角反射器、标定杆、棋盘格角点或自然特征；
- 建立对应点对，构造重投影误差或点-面距离误差；
- 使用非线性优化求解外参，常用工具包括 Ceres、g2o 或 OpenCV 的
calibrateCamera、solvePnP； - 用留出样本评估重投影误差，通常要求平均误差小于 1~2 像素。
下表给出标定环节的关键对象与典型指标：
| 标定类型 | 输入数据 | 输出参数 | 典型评价指标 |
|---|---|---|---|
| 相机内参 | 多视角棋盘格图像 | fx、fy、cx、cy、畸变系数 | 重投影误差 < 0.5 px |
| 相机-雷达外参 | 同步图像与点云 | R、t | 点云投影重合度、平均像素误差 |
| 相机-IMU外参 | 视觉惯性数据 | R、t、时间偏移 | 轨迹一致性、重投影误差 |
三、图像预处理：为检测与分割提供稳定输入
原始图像往往存在畸变、噪声、光照不均和运动模糊。预处理的目标不是“让图好看”，而是让后续算法在统一、稳定的数据分布上工作。典型步骤包括：去畸变、灰度化或颜色空间转换、滤波去噪、直方图均衡或自适应增强、尺寸缩放与归一化。
在无人机场景中，光照变化剧烈，建议优先使用自适应直方图均衡（CLAHE）或 Retinex 类方法，而不是全局线性拉伸。对于实时系统，预处理应尽量在 GPU 或专用 ISP 上完成，避免成为瓶颈。
# OpenCV 预处理示例
img = cv2.imread("frame.jpg")
undist = cv2.undistort(img, K, dist)
gray = cv2.cvtColor(undist, cv2.COLOR_BGR2GRAY)
clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8))
enhanced = clahe.apply(gray)
blur = cv2.GaussianBlur(enhanced, (5, 5), 0)
tensor = cv2.resize(blur, (640, 640)) / 255.0四、目标检测与语义分割基础
目标检测回答“有什么、在哪里”，输出边界框与类别；语义分割回答“每个像素属于什么”，输出逐像素类别图。两者在融合感知中互补：检测提供稀疏但语义明确的目标级信息，分割提供稠密但计算量更大的场景理解。
主流检测方法分为两阶段与单阶段。两阶段以 Faster R-CNN 为代表，精度高但速度较慢；单阶段以 YOLO、SSD、RetinaNet 为代表，适合无人机实时场景。语义分割则以 FCN、U-Net、DeepLab 系列和 SegFormer 为代表，强调编码器-解码器结构与多尺度特征融合。
在雷达视觉融合中，检测与分割结果可用于：把雷达点云投影到图像后按语义类别筛选、用分割掩码约束雷达点云聚类、用检测框引导雷达目标跟踪。下图给出从相机成像到融合感知的完整信号链：
五、案例与复盘：融合感知中的视觉基础问题
某无人机在园区巡检任务中，雷达与相机融合后出现“点云投影到图像后整体偏移”的问题。排查发现：外参标定使用了不同时间采集的数据，无人机振动导致相机支架轻微松动，且图像未做去畸变。修正措施包括：重新同步采集、加入去畸变、使用棋盘格与角反射器联合标定，并在融合前增加投影误差在线检查。修正后，点云与图像目标重合度明显提升，误检率下降。
另一个常见问题是检测模型在强逆光下漏检。复盘发现预处理仅做了简单缩放，未做光照增强。加入 CLAHE 与自适应 gamma 后，召回率提升。这说明视觉基础环节不是“附属步骤”，而是决定融合系统鲁棒性的关键前置条件。