4、立体匹配问题定义：视差、深度关系、匹配代价、匹配约束与评价指标
立体匹配（Stereo Matching）是双目视觉系统的核心环节，其目标是从左右两幅经过极线校正的图像中，为每个像素找到对应的同名点，进而恢复场景的深度信息。在工程落地前，我们必须先厘清几个基础但极易混淆的概念：视差与深度的非线性关系、匹配代价的物理意义、约束条件的必要性，以及如何用统一的评价指标衡量算法优劣。本章将围绕这四个维度展开，建立立体匹配问题的完整数学与工程框架。
上图展示了双目立体匹配的几何基础与概念关系。左右相机观察同一空间点 P，在成像面上产生投影点 x_L 与 x_R，二者在水平方向上的坐标差即为视差 d。深度 Z 与视差 d 成反比关系，由焦距 f 和基线距离 B 共同决定。匹配代价用于衡量左右像素的相似程度，而匹配约束则用于剔除歧义匹配。最终，我们需要通过定量评价指标来检验算法的精度与鲁棒性。下面逐一展开。
4.1 视差与深度的非线性关系
视差（Disparity）是立体匹配中最核心的中间量。在极线校正后的标准双目系统中，同名点只存在水平方向的偏移，因此视差定义为左图像素坐标减去右图像素坐标：d = x_L - x_R。视差是一个整数或亚像素精度的实数，其单位是像素（pixel）。
深度（Depth）Z 与视差 d 的关系由三角测量原理导出：
Z = (f × B) / d其中 f 为相机焦距（单位：像素），B 为左右相机光心之间的距离（单位：米或毫米）。这个公式揭示了几个关键特性：
- 反比关系：视差越大，深度越近；视差越小，深度越远。当 d 趋近于 0 时，Z 趋近于无穷远。
- 非线性灵敏度：在近处（小 Z），视差变化一个像素引起的深度变化很小；在远处（大 Z），视差变化一个像素引起的深度变化非常大。这意味着立体匹配在远距离处的深度精度天然下降。
- 基线权衡：增大基线 B 可以提升深度分辨率，但会增大近处盲区，并加剧遮挡问题。
4.2 匹配代价：像素相似度的度量
匹配代价（Matching Cost）用于评估左图像素 p 与右图像素 p-d 之间的相似程度。代价越小，说明两者越可能是同名点。常用的匹配代价包括：
| 代价函数 | 公式（窗口内） | 特点 | 适用场景 |
|---|---|---|---|
| SAD（差和） | Σ|I_L(i) - I_R(i)| | 计算简单，对噪声敏感 | 实时性要求高的嵌入式系统 |
| SSD（平方差和） | Σ(I_L(i) - I_R(i))² | 放大误差，对大偏差惩罚重 | 光照均匀的室内场景 |
| NCC（归一化互相关） | Σ(I_L·I_R) / √(ΣI_L²·ΣI_R²) | 对光照变化鲁棒，计算量大 | 户外光照变化明显的场景 |
| Census（非参数变换） | 汉明距离(变换后比特串) | 对辐射畸变和噪声鲁棒 | 工业检测、自动驾驶 |
匹配代价的计算通常基于一个支持窗口（如 3×3、5×5、7×7）。窗口越大，对纹理的平滑作用越强，但也会模糊深度边缘。实际工程中，常采用多尺度代价计算或自适应窗口来平衡精度与效率。
4.3 匹配约束：消除歧义的关键
仅靠匹配代价无法得到唯一正确的视差图，因为弱纹理区域、重复纹理区域和遮挡区域会产生大量歧义匹配。因此，立体匹配算法必须引入几何与物理约束。以下是五种核心约束：
- 极线约束（Epipolar Constraint）：同名点必须在对应的极线上。经过极线校正后，搜索空间从二维降为一维水平线，大幅减少计算量。
- 唯一性约束（Uniqueness Constraint）：左图像素最多只能匹配一个右图像素，反之亦然。这排除了一个点匹配多个点的歧义。
- 顺序约束（Ordering Constraint）：在左右图像中，同名点的相对顺序一致。该约束在遮挡区域可能失效，需谨慎使用。
- 平滑性约束（Smoothness Constraint）：视差图在局部区域通常是平滑的，深度突变只发生在物体边缘。该约束是全局优化算法（如 Graph Cut、Belief Propagation）的基础。
- 左右一致性约束（Left-Right Consistency）：左图到右图的视差图与右图到左图的视差图应互为相反数。该约束常用于遮挡检测和后处理。
4.4 评价指标：如何衡量算法好坏
立体匹配算法的评价分为定量指标和定性分析。定量指标需要真值视差图（Ground Truth），通常来自合成数据集（如 Middlebury、SceneFlow）或结构光扫描仪。常用指标包括：
| 指标 | 定义 | 说明 |
|---|---|---|
| MSE（均方误差） | (1/N)Σ(d_est - d_gt)² | 对所有像素的误差平方取平均，对大误差敏感 |
| Bad Pixel Rate（误匹配率） | |d_est - d_gt| > δ 的像素占比 | δ 通常取 1.0 或 2.0 像素，更贴近视觉感知 |
| Rank（排名） | 算法在数据集上的综合排名 | Middlebury 官方排名，综合多场景得分 |
| Density（有效像素密度） | 有效视差像素数 / 总像素数 | 反映算法在遮挡、无纹理区域的覆盖能力 |
在工程实践中，除了上述指标，还应关注运行时间、内存占用和边缘保持度。例如，在自动驾驶场景中，误匹配率通常要求在 5% 以下（δ=1.0），且处理帧率需达到 30 FPS。
4.5 案例拆解：工业零件抓取系统的视差范围设定
我们以一个实际的工业机械臂抓取场景为例，说明如何综合运用上述概念。某汽车零部件装配线需要双目视觉系统引导机械臂抓取 0.8m~1.5m 范围内的金属支架。系统参数如下：
- 相机分辨率：1280×1024，像素尺寸 4.8μm
- 焦距 f = 8mm（换算为像素：8mm / 4.8μm ≈ 1667 px）
- 基线 B = 200mm
第一步：计算视差范围
Z_min = 0.8m → d_max = f·B / Z_min = 1667 × 0.2 / 0.8 ≈ 417 px
Z_max = 1.5m → d_min = f·B / Z_max = 1667 × 0.2 / 1.5 ≈ 222 px因此，视差搜索范围设为 [220, 420] 像素，留出约 5% 的余量。
第二步：选择匹配代价与窗口
由于金属支架表面反光且存在弱纹理区域，我们选择 Census 变换（窗口 9×7）作为匹配代价。Census 对光照和辐射畸变不敏感，适合金属表面。同时，为了加速，将搜索步长设为 1 像素，并使用金字塔策略（先粗后细）将计算量降低约 40%。
第三步：约束与后处理
应用左右一致性检测，将不一致的像素标记为遮挡点。然后使用中值滤波（5×5）去除孤立噪点。最终，在测试集上评估：误匹配率（δ=1.0）为 3.2%，有效像素密度 97.5%，单帧处理时间 28ms（i7 处理器）。
第四步：复盘与风险
在强环境光干扰下，Census 的误匹配率上升至 4.8%，但仍满足抓取要求。若需进一步提升，可考虑增加主动光源或使用自适应窗口。此外，基线 200mm 在 0.8m 处产生约 417px 的视差，深度分辨率约为 0.7mm，满足抓取精度要求。
4.6 常见误区与总结
在立体匹配的工程实践中，以下误区值得警惕：
- 误区一：视差越大越好。视差范围过大会增加计算量并引入更多误匹配。应根据实际深度需求设定合理的 d_min 和 d_max。
- 误区二：只用 SAD 打天下。SAD 在光照变化、噪声环境下表现不佳。应针对场景选择或组合代价函数。
- 误区三：忽略遮挡区域。遮挡区域的视差本身无解，应通过左右一致性检测显式标记，而不是强行赋予错误视差。
- 误区四：只看平均误差。MSE 会被少量大误差像素主导，应同时关注误匹配率和最大误差。