📚 课程目录第3章立体匹配误差

3、立体匹配误差：左右相机视差图一致性检查

立体匹配误差，说白了就是左右两张图没对齐。我刚开始做双目视觉那会儿，总觉得标定完就万事大吉了。结果一跑视差图，满屏都是噪点，跟雪花电视似的。后来才明白——标定只是第一步，匹配误差才是真正考验功夫的地方。

这一章，咱们就专门聊聊怎么检查视差图的一致性。你想想看，左右相机拍的是同一个场景，如果标定没问题，那左右视差图应该长得差不多。如果差太多，那肯定是哪里出了岔子。

3.1 视差图一致性检查的核心逻辑

一致性检查，说白了就是验证左右视差图是否满足左右一致性约束。这个约束其实很简单：左图上点 p 的视差是 d，那右图上对应点 p-d 的视差应该也是 d。如果不满足，那这个点就是不可靠的。

核心公式：

|d_left(x, y) - d_right(x - d_left(x, y), y)| ≤ threshold

如果差值超过阈值，标记为遮挡或误匹配点。

我在项目中遇到过一种情况：标定重投影误差只有 0.15 像素，但视差图就是有大量空洞。后来一查，是左右相机的增益没对齐，导致纹理匹配失败。嗯，这里要注意——标定好不代表匹配就一定好。

3.2 检查流程与步骤

我个人习惯把一致性检查分成三步走。每一步都有对应的工具和指标，咱们一个一个来看。

生成左右视差图：用同一套标定参数，分别从左到右、从右到左做立体匹配。
逐像素一致性校验：遍历每个像素，计算左右视差差值，标记异常点。
统计与可视化：计算一致率、平均误差、最大误差，生成误差分布图。

检查项	指标	合格范围	我见过的坑
一致率	通过检查的像素占比	≥ 95%	光照不均导致一致率骤降
平均误差	所有有效点的 \|d_left - d_right\| 均值	≤ 0.5 像素	基线太长时误差会偏大
最大误差	单个像素的最大差值	≤ 2 像素	遮挡边界处容易超标
异常点比例	差值超过阈值的像素占比	≤ 5%	反光表面会成片异常

小技巧：我一般会把阈值设成 1 像素。如果大部分点都在 0.5 像素以内，那说明匹配质量不错。如果超过 1 像素的点太多，建议先检查一下极线校正有没有做好。

3.3 常见问题与避坑指南

做一致性检查，有几个坑是绕不开的。我曾经在这些问题上吃过亏，现在分享给你。

避坑一：遮挡区域的处理

左右相机视角不同，总有一些区域只在一边可见。这些遮挡区域的一致性检查必然失败。我的做法是：先做一次左右一致性检查，把遮挡点标记出来，然后单独分析这些点的分布。如果遮挡点集中在图像边缘，那是正常的。如果出现在场景中间，那可能是标定参数有问题。

避坑二：纹理缺失区域

白墙、天空这些没纹理的地方，匹配算法基本靠猜。一致性检查在这些区域会大量失败。我建议在评估时排除这些区域，或者单独统计。否则整体一致率会被拉低，误导判断。

避坑三：匹配窗口大小的影响

窗口太小，噪声大；窗口太大，边缘模糊。我一般会先用 7x7 窗口跑一遍，如果一致率低于 90%，就换成 11x11 试试。但要注意，窗口越大，细节丢失越严重。这个取舍得根据实际场景来定。

3.4 视差图一致性检查流程图

下面这张图，是我自己总结的一致性检查流程。每次做标定验证，我都会按这个步骤走一遍。

3.5 代码示例：一致性检查实现

下面这段代码，是我在实际项目中用过的。它做了两件事：一是逐像素检查左右视差图的一致性，二是把异常点可视化出来。

import cv2
import numpy as np

def check_consistency(disp_left, disp_right, threshold=1.0):
    """
    左右视差图一致性检查
    :param disp_left:  左视差图 (H, W)
    :param disp_right: 右视差图 (H, W)
    :param threshold:  一致性阈值（像素）
    :return: consistency_map, consistency_rate, error_map
    """
    h, w = disp_left.shape
    consistency_map = np.zeros((h, w), dtype=np.uint8)
    error_map = np.full((h, w), np.nan)

    valid_mask = (disp_left > 0) & (disp_right > 0)

    for y in range(h):
        for x in range(w):
            if not valid_mask[y, x]:
                continue
            d_left = disp_left[y, x]
            x_right = int(round(x - d_left))
            if 0 <= x_right < w:
                d_right = disp_right[y, x_right]
                diff = abs(d_left - d_right)
                error_map[y, x] = diff
                if diff <= threshold:
                    consistency_map[y, x] = 255

    total_valid = np.sum(valid_mask)
    consistent = np.sum(consistency_map > 0)
    consistency_rate = consistent / total_valid if total_valid > 0 else 0.0

    return consistency_map, consistency_rate, error_map

# 使用示例
# left_disp = cv2.imread('left_disp.png', cv2.IMREAD_GRAYSCALE)
# right_disp = cv2.imread('right_disp.png', cv2.IMREAD_GRAYSCALE)
# cons_map, rate, err_map = check_consistency(left_disp, right_disp, threshold=1.0)
# print(f"一致性检查通过率: {rate*100:.2f}%")

经验之谈：这段代码跑起来很快，但要注意视差图的数据类型。如果是 float32 的视差图，阈值可以设小一点，比如 0.5。如果是 uint8 的，阈值设 1 或 2 比较合理。我一般会先看一眼视差图的数值范围，再决定阈值。

3.6 一致性检查结果的分析方法

拿到一致性检查结果后，怎么分析？我一般看三个东西：

一致率分布直方图：如果大部分像素的误差集中在 0~0.3 像素，说明匹配质量很好。如果分布很散，那就要找原因了。
异常点空间分布：把异常点叠加到原图上，看看它们是不是集中在某个区域。如果是边缘区域，可能是畸变校正没做好。如果是场景中的某个物体，可能是反光或遮挡。
时间序列稳定性：连续采集几帧图像，看一致率是否稳定。如果忽高忽低，那可能是硬件有问题，比如相机抖动或光照变化。

我记得有一次，客户反馈视差图总是有带状噪声。我查了半天，发现是左右相机的曝光时间没同步。曝光差了几毫秒，运动物体在左右图上的位置就不一样了。嗯，这种问题一致性检查一眼就能看出来。

3.7 总结一下

视差图一致性检查，是验证立体匹配质量最直接的方法。它不依赖外部参考，只需要左右视差图本身。我个人觉得，这是标定验证里性价比最高的一个环节——代码简单，效果直观，能快速定位问题。

做这个检查时，记住三个关键点：阈值要合理、遮挡要排除、异常点要可视化。把这三点做好了，你的立体匹配质量就有保障了。