课程导入：立体匹配的定义、应用场景与学习路径
立体匹配（Stereo Matching）是计算机视觉中从二维图像恢复三维深度信息的关键技术。其核心任务在于：给定同一场景从不同视角拍摄的两幅（或多幅）图像，通过寻找像素之间的对应关系，计算视差（Disparity），进而结合相机几何参数恢复场景的稠密深度图。这一过程模拟了人类双眼视觉的立体感知机制——左眼与右眼观察同一物体时存在水平位置差异，大脑通过融合这种差异形成深度感知。在工程实现上，立体匹配通常被建模为能量最小化问题，即寻找一个视差函数，使得匹配代价与平滑约束的加权和最小。本节作为课程的第一章，将系统阐述立体匹配的定义内涵、典型应用场景、课程学习目标与整体路径，帮助学习者建立全局认知框架。
1.1 立体匹配的定义与核心原理
立体匹配的本质是求解两幅图像中对应像素点的视差。设左图像素坐标为 \((x_L, y)\)，右图像中对应点为 \((x_L - d, y)\)，其中 \(d\) 即为视差。根据三角测量原理，深度 \(Z\) 与视差 \(d\) 满足关系：\(Z = \frac{f \cdot B}{d}\)，其中 \(f\) 为焦距，\(B\) 为基线距离（两相机光心间距）。因此，只要获得稠密且准确的视差图，即可恢复场景的三维结构。
从数学角度看，立体匹配通常被建模为马尔可夫随机场（MRF）或能量最小化问题。经典的能量函数形式为：
E(d) = Σ C(x, d(x)) + λ · Σ ρ(d(x) - d(y))其中第一项为数据项（匹配代价），第二项为平滑项（约束相邻像素视差一致性），λ 为平衡权重。匹配代价 \(C(x, d)\) 衡量像素 \(x\) 在视差 \(d\) 下左右图像块的相似程度，常见度量包括差之和（SAD）、归一化互相关（NCC）、Census变换等。平滑项则基于视差连续性假设，惩罚相邻像素间的视差突变，从而抑制噪声和误匹配。
根据优化策略的不同，立体匹配算法可分为局部方法、全局方法和半全局方法。局部方法仅利用像素邻域信息计算代价并选择最小视差，速度快但易受纹理缺失和重复纹理影响；全局方法通过图割（Graph Cut）、置信度传播（Belief Propagation）等优化整个视差场，精度高但计算量大；半全局匹配（SGM）则通过多个方向的一维动态规划近似二维全局优化，在精度与效率之间取得了良好平衡，是目前工业界应用最广泛的算法框架。
1.2 典型应用场景与需求分析
立体匹配技术已深度融入多个行业，不同场景对精度、速度、鲁棒性提出了差异化需求。下表对比了主要应用场景的技术要求：
| 应用场景 | 典型深度范围 | 精度要求 | 实时性 | 主要挑战 |
|---|---|---|---|---|
| 自动驾驶（ADAS） | 0.5m ~ 100m | 厘米级（近距）/ 分米级（远距） | ≥30 FPS | 光照变化、运动模糊、低纹理路面 |
| 机器人抓取与导航 | 0.2m ~ 10m | 毫米级（近距） | ≥15 FPS | 遮挡、镜面反射、动态物体 |
| 三维重建（静态场景） | 0.1m ~ 50m | 亚毫米级（近距） | 离线/准实时 | 弱纹理区域、重复结构、大视差 |
| AR/VR 虚拟视点合成 | 0.3m ~ 5m | 像素级视差精度 | ≥60 FPS | 边缘锯齿、遮挡区域处理 |
| 工业视觉测量 | 0.05m ~ 2m | 微米级（配合高分辨率相机） | ≥10 FPS | 高光表面、透明物体、温度漂移 |
以自动驾驶为例，双目相机通常安装在挡风玻璃后方，基线长度约 10-20cm，图像分辨率 1280×720 或更高。系统需要在 30ms 内完成一帧图像的立体匹配，同时保证近处障碍物（如行人、车辆）的深度误差小于 5%，远处目标的误差小于 10%。这对算法的计算效率和鲁棒性提出了极高要求。相比之下，三维重建场景更关注精度而非速度，可以采用全局优化算法，甚至结合多视角立体（MVS）技术进一步提升重建质量。
值得注意的是，不同应用场景对后处理的需求也截然不同。自动驾驶需要实时剔除飞点（孤立误匹配），保留动态物体信息；而三维重建则更关注边缘保持和弱纹理区域的插值填充。理解场景需求是选择算法和调优参数的前提。
1.3 课程目标与学习路径规划
本课程聚焦立体匹配中的代价计算与后处理两大核心环节，兼顾理论深度与工程实战。学完本课程后，学习者应达到以下目标：
- 理论层面：掌握代价函数的数学原理与设计思想，理解不同代价度量（SAD、NCC、Census、互信息等）的适用场景与优缺点；理解视差后处理中的滤波、插值、一致性检查、亚像素细化等方法的理论基础。
- 工程层面：能够基于 C++/Python 实现完整的立体匹配流程，熟练使用 OpenCV 库中的相关模块，并能针对实际数据集的噪声、遮挡、光照变化等问题进行算法调优。
- 评估层面：掌握立体匹配的定量评估指标（如误匹配率、均方误差、坏点率），能够使用 Middlebury、KITTI 等公开数据集进行算法性能对比与验证。
- 部署层面：了解算法在嵌入式平台（如 NVIDIA Jetson、FPGA）上的优化策略，包括并行化、定点化、内存带宽优化等。
课程学习路径分为四个阶段，每个阶段环环相扣：
- 基础夯实（第1-5章）：相机模型与极线几何、图像预处理（去畸变、校正）、立体匹配整体框架与评估体系。
- 代价计算深入（第6-15章）：从像素级代价到区域级代价，从手工特征到学习型特征，涵盖 SAD/NCC/Census/AD-Census/互信息/CNN 代价体等主流方法。
- 后处理与优化（第16-25章）：代价聚合（局部/半全局/全局）、视差计算（WTA/动态规划/图割）、后处理（左右一致性检查、中值滤波、加权中值、双边滤波、遮挡填充、亚像素插值）。
- 实战与部署（第26-30章）：基于真实数据集（KITTI、Middlebury、ETH3D）的完整项目实战，性能调优方法论，嵌入式平台部署案例。
1.4 常见误区与学习复盘
在多年教学与工程实践中，我们发现初学者在立体匹配入门阶段常陷入以下误区，在此提前指出以帮助学习者规避：
- 误区一：忽视极线校正的重要性。极线校正将双目匹配从二维搜索降为一维搜索，大幅降低计算复杂度。但校正质量直接影响匹配精度——校正误差超过 1 像素就会显著增加误匹配率。实际工程中，应使用高精度标定板（如棋盘格、圆点阵）并采集多姿态图像进行标定。
- 误区二：盲目追求复杂算法。初学者往往认为全局方法一定优于局部方法。实际上，在光照变化剧烈、纹理稀疏的真实场景中，精心调优的局部方法（如 AD-Census + 十字交叉聚合）可能比未调优的全局方法表现更好。算法的选择应基于具体场景需求。
- 误区三：忽略后处理环节。许多学习者将精力集中在代价计算和聚合上，却忽视了后处理。事实上，后处理（尤其是遮挡检测和亚像素细化）对最终深度图质量的影响可达 20%-30%。一个完整的立体匹配系统，后处理环节往往占据 40% 以上的代码量。
- 误区四：不重视评估方法。没有统一的评估标准，就无法客观比较算法优劣。建议使用标准数据集（如 Middlebury 的 30 余组测试图像）和标准指标（如 bad 1.0、bad 2.0、MSE）进行评测，同时记录运行时间。
复盘总结：本章建立了立体匹配的整体认知框架。核心要点可归纳为：立体匹配的输入输出定义、视差与深度的映射关系、能量最小化建模思想、四大处理环节（代价计算、聚合、视差计算、后处理）的职责划分，以及不同应用场景对算法的差异化需求。后续章节将逐一深入每个环节，从数学原理到代码实现，从算法推导到工程优化，帮助学习者构建完整的知识体系与实战能力。