📚 课程目录第4章图像基础与特征提取

4. 图像基础与特征提取

在单目视觉SLAM系统中，前端视觉里程计的核心任务是从连续图像帧中提取稳定、可重复的特征点，并建立帧间对应关系。图像预处理与特征提取的质量，直接决定了后续位姿估计与建图的精度和鲁棒性。本章从图像基础操作出发，逐步深入到主流特征提取算法的原理与工程实现。

一、灰度变换与图像滤波

SLAM系统通常将彩色图像转换为灰度图像处理，以减少计算量并消除颜色通道间的冗余信息。灰度变换的本质是像素级映射操作，常见形式包括线性拉伸、对数变换和Gamma校正。线性拉伸将原始灰度区间映射到完整动态范围，增强对比度；Gamma校正则用于调整图像的整体亮度分布，适应不同光照条件。

滤波是抑制噪声、增强特征可检测性的关键步骤。高斯滤波通过卷积核加权平均实现平滑，其标准差σ控制平滑程度；中值滤波对椒盐噪声有极好的抑制效果，同时能较好保留边缘；双边滤波则在空间距离和像素值差异两个维度加权，实现保边平滑。在SLAM前端中，高斯滤波最为常用，因其可分离性可将二维卷积分解为两次一维卷积，显著降低计算复杂度。

工程建议：对于640×480分辨率的图像，高斯核尺寸通常取5×5或7×7，σ取1.0~1.5。过大的核会模糊角点，导致特征点定位精度下降。

二、边缘检测与Harris角点

边缘检测通过计算图像梯度幅值来定位灰度突变区域。Sobel算子利用3×3卷积核分别计算水平和垂直方向梯度，Canny算法在此基础上增加了非极大值抑制和双阈值滞后处理，能够输出单像素宽度的边缘。在SLAM中，边缘信息常用于线特征提取或辅助深度估计。

Harris角点检测是特征提取的经典方法。其核心思想是：在角点处，图像窗口沿任意方向移动都会引起灰度显著变化。通过计算自相关矩阵M的特征值，可以判断像素类型：两个特征值都大则为角点，一大一小为边缘，都小则为平坦区域。实际实现中，使用角点响应函数R = det(M) - k·trace(M)²来避免特征值分解，k通常取0.04~0.06。

// Harris角点响应计算示例
Mat Ix, Iy;
Sobel(gray, Ix, CV_32F, 1, 0, 3);
Sobel(gray, Iy, CV_32F, 0, 1, 3);
Mat Ixx = Ix.mul(Ix);
Mat Iyy = Iy.mul(Iy);
Mat Ixy = Ix.mul(Iy);
GaussianBlur(Ixx, Ixx, Size(7,7), 1.5);
GaussianBlur(Iyy, Iyy, Size(7,7), 1.5);
GaussianBlur(Ixy, Ixy, Size(7,7), 1.5);
Mat R = (Ixx.mul(Iyy) - Ixy.mul(Ixy)) 
        - 0.05 * (Ixx + Iyy).mul(Ixx + Iyy);

三、SIFT、SURF与ORB特征原理

SIFT（尺度不变特征变换）通过构建高斯差分金字塔检测尺度空间极值点，并为每个关键点分配主方向，生成128维描述子。其优势在于对尺度、旋转、光照变化具有极强鲁棒性，但计算量大，难以满足实时SLAM需求。SURF（加速鲁棒特征）使用盒式滤波和积分图加速Hessian矩阵计算，描述子降为64维，速度约为SIFT的3倍，但专利限制影响了其商业应用。

ORB（Oriented FAST and Rotated BRIEF）是SLAM中最常用的特征，它结合了FAST角点检测的快速性和BRIEF描述子的紧凑性。ORB通过灰度质心法为FAST角点添加方向信息，使描述子具备旋转不变性；同时使用Steer BRIEF在旋转后的采样模式上计算二进制描述子，匹配时采用汉明距离，速度极快。ORB-SLAM系列的成功充分证明了ORB在实时SLAM中的工程价值。

四、工程实现与参数调优

在OpenCV中，各特征提取器均有成熟实现。ORB的创建与使用示例如下：

// ORB特征提取
Ptr<ORB> orb = ORB::create(
    1000,       // 最大特征点数
    1.2f,       // 尺度因子
    8,          // 金字塔层数
    31,         // 边缘阈值
    0,          // 第一层
    2,          // WTA_K
    ORB::HARRIS_SCORE,  // 评分类型
    31,         // 补丁大小
    20          // FAST阈值
);
std::vector<KeyPoint> keypoints;
Mat descriptors;
orb->detectAndCompute(gray, noArray(), keypoints, descriptors);

算法	描述子维度	匹配距离	实时性	SLAM适用场景
Harris	无描述子	—	高	光流跟踪
SIFT	128维浮点	L2距离	低	离线建图
SURF	64维浮点	L2距离	中	中等实时场景
ORB	256位二进制	汉明距离	极高	实时SLAM首选

常见误区：许多初学者在SLAM中直接使用SIFT追求“最好效果”，却忽略了实时性要求。实际上，ORB在大多数室内外场景中已足够鲁棒，且速度优势使其成为实时SLAM的工程首选。另一个误区是忽略特征点均匀化，导致特征点聚集在纹理丰富区域，影响位姿估计的稳定性。

五、复盘与优化方向

特征提取环节的优化应围绕三个维度展开：一是特征点数量与分布的平衡，可通过网格化或自适应阈值实现均匀提取；二是描述子匹配的准确性，可采用交叉验证、比率测试和RANSAC剔除误匹配；三是计算效率的极致优化，包括图像金字塔并行化、SIMD指令加速和GPU移植。在实际SLAM系统中，特征提取通常占前端总耗时的30%~50%，因此针对ORB的FAST检测和BRIEF描述子计算进行指令级优化，往往能带来显著的帧率提升。

此外，需注意特征提取与后续模块的耦合关系。例如，当系统进入纹理稀疏区域时，应动态降低FAST阈值以维持足够的特征点数量；当检测到大量误匹配时，应回溯检查滤波参数是否过度平滑导致角点模糊。只有将特征提取视为整个SLAM pipeline的有机组成部分，而非孤立模块，才能构建出真正鲁棒的视觉SLAM系统。