第一章 课程导入：学习目标、核心概念、整体框架与应用场景
图像变形补偿与几何校正是数字图像处理、计算机视觉与显示工程交叉领域中的一项关键技术。无论是摄像头成像、投影显示、工业检测，还是医疗影像与自动驾驶感知，图像在采集与呈现过程中都会因光学系统、物理安装、环境扰动等因素产生几何失真。这种失真轻则影响观感，重则导致测量误差、识别失败甚至系统决策错误。本章作为课程的开篇，将系统梳理学习目标、核心概念、整体知识框架以及典型应用场景，帮助学习者建立全局视野，为后续深入掌握各类校正算法与工程实现打下坚实基础。
1.1 学习目标：从理论认知到工程落地
本课程的学习目标分为四个层次，层层递进，既强调理论深度，也注重工程实践能力。第一层次是概念理解：学习者需要准确掌握图像几何失真的本质成因，包括镜头光学畸变（径向畸变、切向畸变）、透视投影变形、传感器安装误差以及动态环境扰动等。第二层次是算法掌握：能够推导并实现经典的畸变校正算法，如基于标定板的张正友标定法、直接线性变换（DLT）、多项式拟合校正、薄板样条插值（TPS）等，并理解各类算法的适用边界与精度权衡。第三层次是工程实现：能够在OpenCV、MATLAB或嵌入式平台（如FPGA、DSP）上完成校正系统的搭建，包括特征提取、参数优化、重采样与插值、实时流水线设计。第四层次是系统评估：掌握校正质量的量化评价指标，如重投影误差（Reprojection Error）、直线度保持、像素偏移均方根误差（RMSE）等，并能针对具体应用场景进行方案选型与优化。
课程核心能力模型：完成本课程后，学习者应具备以下能力——① 面对一个具体的图像几何失真问题时，能够快速判断失真类型并选择合适的数学模型；② 独立完成从标定数据采集、参数求解到图像重采样的完整校正流程；③ 理解不同插值算法对校正精度和计算开销的影响，并能根据硬件资源做出合理取舍；④ 具备对校正结果进行定量评估和误差分析的能力。
1.2 核心概念：几何失真的本质与数学描述
图像几何校正的本质是建立理想图像坐标与实际采集图像坐标之间的映射关系，并通过重采样将实际图像像素重新排列到理想位置。这一过程涉及三个核心概念：畸变模型、坐标变换与重采样插值。
畸变模型描述了实际成像系统偏离理想针孔模型的数学表达。最常见的径向畸变可用多项式模型描述：
Δx_r = x * (k1*r² + k2*r⁴ + k3*r⁶)
Δy_r = y * (k1*r² + k2*r⁴ + k3*r⁶)其中 (x, y) 为归一化图像坐标，r² = x² + y²，k1、k2、k3 为径向畸变系数。切向畸变则用 p1、p2 两个参数描述，主要源于镜头与成像传感器不完全平行。透视变形则通过单应矩阵（Homography）H 描述，适用于平面场景的视角变换。
坐标变换分为前向映射和反向映射两种策略。前向映射将输入图像每个像素坐标通过变换函数映射到输出图像，但容易产生空洞和重叠；反向映射则从输出图像坐标出发，逆向查找输入图像对应位置，是工程中更常用的方法。重采样插值决定了输出像素的灰度取值，常用的有最近邻插值（速度快但锯齿明显）、双线性插值（平滑且计算适中）和双三次插值（精度高但计算量大）。
| 概念名称 | 数学表达/模型 | 典型参数 | 应用场景 |
|---|---|---|---|
| 径向畸变 | 多项式模型 | k1, k2, k3 | 广角镜头、鱼眼镜头 |
| 切向畸变 | Brown-Conrady模型 | p1, p2 | 镜头与传感器装配误差 |
| 透视变换 | 单应矩阵 H (3×3) | 8自由度 | 投影校正、鸟瞰图生成 |
| 薄板样条 | 径向基函数插值 | 控制点+刚度系数 | 非线性畸变、医学影像 |
1.3 整体框架：课程知识体系与学习路径
本课程共30章，按照“基础理论→核心算法→工程实践→前沿扩展”四个阶段组织。第一阶段（第1-6章）聚焦几何光学基础与畸变数学模型，包括针孔成像模型、镜头畸变分类、坐标系转换、标定板设计等。第二阶段（第7-15章）深入各类校正算法，涵盖张正友标定法、DLT方法、非线性优化、鱼眼镜头校正、投影几何校正等。第三阶段（第16-24章）转向工程实现，包括OpenCV工具链、FPGA实时处理架构、多相机拼接、动态补偿系统设计、校正质量评估等。第四阶段（第25-30章）探讨前沿方向，如基于深度学习的畸变校正、自适应光学补偿、AR/VR显示校正等。
课程强调“理论-算法-实现-评估”的闭环学习模式。每一章都配有可运行的代码示例、实验数据和工程案例，学习者可以通过动手实践加深理解。同时，课程设置了多个综合项目，如“工业相机畸变校正系统设计”、“车载环视拼接校正”等，帮助学习者将分散知识点整合为系统能力。
学习建议：建议学习者在学习过程中建立自己的“失真图像库”，收集不同镜头、不同场景下的畸变样本。每学完一种校正算法，就在该图像库上测试效果，并记录参数调整对结果的影响。这种积累方式能显著提升对算法特性的直觉判断力。
1.4 应用场景：从消费电子到高端制造
图像变形补偿与几何校正的应用横跨多个行业，且需求日益迫切。在投影显示领域，会议室、展厅和教育场景中，投影仪往往需要侧投或倾斜安装，导致画面出现梯形失真。通过几何校正，可以将画面调整为标准的矩形，并支持多台投影仪的边缘融合，实现超大无缝显示。在工业视觉检测中，相机镜头畸变会直接影响尺寸测量的精度。例如，一个标称精度为±0.01mm的视觉测量系统，若未校正镜头畸变，在图像边缘区域的测量误差可能达到±0.1mm，超出允许范围10倍。因此，高精度测量系统必须进行严格的几何标定与校正。
自动驾驶是近年来几何校正需求增长最快的领域。车载环视系统（AVM）通常由4-6个广角鱼眼相机组成，需要将各相机图像校正并投影到统一的车顶鸟瞰视角，实现无缝拼接。这一过程涉及鱼眼畸变校正、透视变换、多相机联合标定和亮度均衡等多个环节。在医疗影像中，内窥镜、X光机、CT等设备都存在不同程度的几何失真，校正精度直接影响临床诊断的准确性。例如，在内镜手术导航中，图像几何误差可能导致器械定位偏差，带来手术风险。
此外，无人机遥感、卫星影像处理、AR/VR显示、文档扫描等领域也高度依赖几何校正技术。以文档扫描为例，当拍摄书籍或纸张时，由于页面弯曲或拍摄角度倾斜，会产生透视变形和桶形畸变，通过校正算法可以将弯曲页面展开为平整的矩形图像，极大提升OCR识别率。
常见误区警示：初学者容易将“图像几何校正”与“图像增强”混为一谈。图像增强（如对比度调整、锐化）改变的是像素的灰度值，不涉及像素位置的移动；而几何校正改变的是像素的空间位置，灰度值本身通过重采样获得。两者在算法实现和评价指标上完全不同，务必区分。
1.5 案例拆解：投影仪梯形校正系统的设计思路
为帮助学习者建立直观认识，这里以一个典型的投影仪自动梯形校正系统为例，展示几何校正从问题定义到方案落地的完整思考过程。
背景与约束：某教育设备公司需要开发一款便携式投影仪，要求支持侧投角度±30°范围内的自动梯形校正，校正后画面纵横比误差小于1%，且校正过程耗时不超过2秒。硬件平台为ARM Cortex-A53四核处理器，内存2GB，无独立GPU。
初始现象与目标：当投影仪侧投时，投射到幕布上的画面呈现明显的梯形变形，画面中的直线不再保持平行，矩形内容变为不规则四边形。目标是通过内置摄像头拍摄幕布画面，自动检测投影区域边界，计算投影仪与幕布的相对姿态，然后对输出图像进行逆透视变换，使观众看到的画面恢复为标准的矩形。
关键输入数据与参数：内置摄像头分辨率为1280×720，视场角90°；投影仪原始分辨率为1920×1080；投影距离范围0.8m-3m；环境光照变化范围100-500 lux。系统需要处理的输入包括：摄像头拍摄的幕布图像、投影仪当前输出图像、IMU（惯性测量单元）提供的姿态角数据。
分析判断过程：首先，系统通过摄像头捕捉投影画面，利用边缘检测算法提取投影区域的四个顶点。由于镜头本身存在径向畸变，需要先对摄像头图像进行畸变校正，否则顶点坐标误差会传递到后续计算。然后，根据四个顶点的图像坐标和已知的投影画面宽高比，求解投影平面与幕布平面之间的单应矩阵H。最后，将H分解为旋转矩阵和平移向量，得到投影仪的俯仰角和偏航角，进而生成用于校正输出图像的逆变换矩阵。
实际操作步骤：
- 摄像头标定：使用棋盘格标定板获取摄像头内参和畸变系数，建立畸变校正查找表。
- 投影区域检测：在投影画面中嵌入特定图案（如白色背景+黑色边框），通过阈值分割和轮廓提取获得投影区域。
- 顶点提取与排序：使用Harris角点检测或最小外接矩形算法获取四个顶点，并按顺时针排序。
- 单应矩阵求解：利用DLT算法求解投影区域到标准矩形的单应矩阵H。
- 逆变换生成：对H求逆，得到从输出图像到输入图像的映射关系。
- 重采样输出：采用双线性插值，对每一输出像素计算其在输入图像中的对应位置并采样。
结果对比与风险：校正后，画面纵横比误差控制在0.8%以内，满足设计要求。但实测发现，在低光照环境下（<150 lux），投影区域检测的稳定性下降，偶发顶点误检。为此，系统增加了IMU数据融合，当视觉检测置信度低时，使用IMU姿态角直接计算单应矩阵，作为备用方案。该策略将系统鲁棒性提升了约40%。
复盘经验：该项目揭示了三个关键设计原则：一是多传感器融合能显著提升系统在复杂环境下的可靠性；二是摄像头预标定是几何校正系统精度的基石，不可省略；三是算法复杂度与硬件算力需要平衡，在ARM处理器上，双线性插值比双三次插值快约3倍，而精度损失在可接受范围内。