3. 视觉感知基础

在无人机降落标志识别任务中,相机是唯一的“眼睛”。要让算法从图像中稳定地找到标志并估计相对位姿,必须先理解图像是怎样形成的、像素坐标与真实世界坐标之间如何建立映射。本节围绕针孔成像、内外参、畸变模型、坐标系变换和图像采集流程展开,为后续标志检测与跟踪打下几何基础。

一、针孔成像:从三维世界到二维像素

针孔模型是最常用的相机成像近似。假设光线从物体表面出发,穿过光心后在像平面上投影,物体上一点 P(X,Y,Z) 与图像点 p(u,v) 满足透视投影关系。用齐次坐标可写为:

s · [u, v, 1]^T = K · [R | t] · [X, Y, Z, 1]^T

K = [ fx  0  cx
       0 fy  cy
       0  0   1 ]

其中 s 是尺度因子,K 为内参矩阵,R 和 t 为外参。针孔模型忽略了镜头厚度与畸变,但在视场角不大、标定良好的情况下,足以支撑降落标志的定位与跟踪。

核心结论:图像中的像素位置不是简单的“平面坐标”,而是三维空间点经过透视投影后的结果。距离越远,同一物体在图像中越小;仅凭单张图像无法直接恢复绝对尺度。

二、内参与外参:相机“自身属性”和“位姿关系”

内参描述相机自身的成像特性,包括焦距 fx、fy、主点 cx、cy,有时还包括倾斜因子 skew。它们由镜头、传感器和分辨率共同决定,通常通过棋盘格标定获得。外参描述相机在世界坐标系中的位置和朝向,即旋转矩阵 R 与平移向量 t。在无人机降落场景中,外参会随无人机运动实时变化,而内参在飞行过程中基本保持不变。

参数类型符号物理含义是否随飞行变化
焦距fx, fy像素单位下的焦距基本不变
主点cx, cy光轴与像平面交点基本不变
旋转R相机相对世界坐标系的姿态实时变化
平移t相机相对世界坐标系的位置实时变化
畸变系数k1,k2,p1,p2,k3径向与切向畸变基本不变

三、畸变模型:真实镜头的“非线性修正”

真实镜头并非理想针孔,尤其广角镜头边缘会产生明显弯曲。常见畸变包括径向畸变和切向畸变。径向畸变使直线在图像边缘向外或向内弯曲,切向畸变则由镜头与传感器不平行引起。OpenCV 常用五参数模型:

x_dist = x(1 + k1 r^2 + k2 r^4 + k3 r^6)
y_dist = y(1 + k1 r^2 + k2 r^4 + k3 r^6)

x_corr = x_dist + 2 p1 x y + p2 (r^2 + 2 x^2)
y_corr = y_dist + p1 (r^2 + 2 y^2) + 2 p2 x y

在降落标志识别中,若忽略畸变,标志角点会偏离真实位置,导致位姿估计出现偏差。因此,采集图像后通常先进行去畸变,再进入检测与跟踪模块。

实操建议:标定板应覆盖图像中心与边缘区域,拍摄 15~25 张不同姿态图像,重投影误差控制在 0.3 像素以内,才能满足降落标志的精度需求。

四、坐标系变换与图像采集流程

从世界点到像素点,通常经历四个坐标系:世界坐标系、相机坐标系、图像物理坐标系和像素坐标系。其变换链为:世界坐标 → 相机坐标(外参 R,t)→ 归一化平面 → 像素坐标(内参 K)→ 去畸变修正。无人机降落时,标志在世界坐标系中的位置已知,通过检测图像中的标志角点,可反推相机外参,从而得到无人机相对降落点的位姿。

针孔成像与图像采集链路 世界坐标系 降落标志位置 P(Xw, Yw, Zw) 外参变换 R, t 相机位姿 相机坐标系 P(Xc, Yc, Zc) 光心为原点 内参投影 K: fx, fy, cx, cy 透视投影 图像平面与像素坐标 p(u, v) = K · [R | t] · P 标志角点 畸变修正 k1,k2,k3 p1,p2 去畸变后角点 图像采集 曝光 采样 量化 输出灰度/彩色图 采集流程:世界点 → 外参变换 → 相机坐标 → 内参投影 → 像素坐标 → 畸变修正 → 检测与跟踪 内参决定“怎么投影”,外参决定“从哪里看”,畸变模型决定“如何修正”

图像采集流程可概括为:镜头汇聚光线 → 传感器曝光 → 模拟信号转数字信号 → 图像输出。对于无人机视觉,还需关注曝光时间、帧率、滚动快门和运动模糊。降落过程中无人机存在升降与平移,若曝光时间过长,标志边缘会拖影,角点检测精度下降。因此,通常优先保证足够高的快门速度,并在光照不足时适当提高增益或使用辅助光源。

五、案例与常见误区

假设无人机在 3 米高度识别边长 0.5 米的降落标志。若相机焦距为 600 像素,则标志在图像中的边长约为 600 × 0.5 / 3 = 100 像素,足以稳定检测。若高度升至 10 米,边长仅约 30 像素,此时必须依赖更高分辨率或更长焦距,否则跟踪容易丢失。

常见误区:一是把内参当成固定不变,忽略温度漂移或变焦影响;二是只做去畸变却不更新标定参数;三是忽略外参的实时性,导致位姿估计滞后;四是把像素坐标直接当物理距离使用,忘记尺度因子与深度信息。

复盘时建议检查:标定重投影误差是否达标、去畸变前后角点偏差是否明显、图像时间戳与飞控姿态是否同步、曝光是否造成运动模糊。只有把相机模型、内外参、畸变和采集流程串成一条完整链路,后续的降落标志识别与跟踪才能获得可靠的几何输入。