📚 课程目录第4章相机成像模型

4. 相机成像模型

相机是怎么把三维世界变成一张二维照片的？这个问题，我刚入行时也觉得很简单——不就是镜头一按嘛。直到第一次做视觉定位，发现算出来的坐标总是偏的，才老老实实回来啃成像模型。

说白了，相机成像就是四个步骤：世界坐标 → 相机坐标 → 图像坐标 → 像素坐标。每一步都有对应的数学变换，咱们一个一个拆开看。

  核心一句话：相机成像模型就是用数学描述「三维空间点 → 二维像素点」的映射关系。搞懂它，你才能知道相机看到的和实际位置之间差了什么。

针孔相机模型是所有成像模型的基础。你想想看，一个暗箱，前面戳个小孔，光线穿过小孔在后面的感光面上成像——就这么简单。

数学上，它描述的是相似三角形关系：

设空间点 P(X, Y, Z)，成像点 p(x, y)，焦距 f
则：
x = f * (X / Z)
y = f * (Y / Z)

这里有个关键点：Z 是深度。没有深度信息，你没法从单张图恢复三维坐标。我在做单目视觉定位时，就因为这个吃了不少苦头。

我的习惯：每次拿到新相机，第一件事就是画针孔模型的示意图，把坐标系标清楚。坐标系一乱，后面全白干。

针孔模型给出的是物理坐标（单位：毫米），但相机输出的是像素坐标（单位：像素）。怎么转换？靠内参矩阵。

内参矩阵 K 长这样：

K = [fx  0  cx
     0  fy  cy
     0   0   1]

其中：

完整投影公式：

s * [u, v, 1]^T = K * [R|t] * [X, Y, Z, 1]^T

s 是尺度因子，[R|t] 是外参（相机位姿）。这个公式我背得滚瓜烂熟——有一次标定完发现内参矩阵里的 cx 偏了 20 多个像素，查了半天才发现是镜头装歪了。

注意：内参矩阵是相机出厂就定死的，但温度、震动、镜头松动都会让它漂移。我建议每半年重新标定一次，尤其是机器人上用的相机。

理想针孔模型假设镜头是完美的，但现实中的镜头有各种「毛病」。畸变主要分两类：径向畸变和切向畸变。

径向畸变是镜头形状导致的。光线经过透镜边缘时弯曲程度和中心不一样，结果就是图像边缘的直线变弯了。

数学模型（泰勒展开）：

x_corrected = x * (1 + k1*r^2 + k2*r^4 + k3*r^6)
y_corrected = y * (1 + k1*r^2 + k2*r^4 + k3*r^6)

其中 r^2 = x^2 + y^2，k1、k2、k3 是径向畸变系数

我记得第一次用鱼眼镜头做标定时，畸变系数 k1 大得离谱，校正后的图像边缘还是歪的。后来加了 k3 项才搞定——高阶项有时候真不能省。

切向畸变是镜头和感光面不平行导致的。说白了就是镜头装歪了，或者感光芯片贴歪了。

x_corrected = x + [2*p1*x*y + p2*(r^2 + 2*x^2)]
y_corrected = y + [p1*(r^2 + 2*y^2) + 2*p2*x*y]

其中 p1、p2 是切向畸变系数

避坑指南：我曾经在产线上遇到一批相机，切向畸变系数 p1、p2 特别大。一开始以为是算法问题，后来拆开一看——镜头座没拧紧。机械装配的锅，别让算法背。

相机标定，说白了就是求内参和畸变系数。怎么求？用已知尺寸的标定板，拍多张不同角度的照片，然后解方程。

最常用的方法是张正友标定法，流程如下：

  重投影误差：把标定板上的三维点投影到图像上，算投影点和实际检测点之间的距离。这个值越小，标定越准。我一般要求 < 0.3 像素。

下面这张图总结了相机成像的完整流程：

理论说完了，聊点实战经验。标定这件事，看着简单，坑不少。

常见翻车现场：

我个人的标定流程：

小技巧：标定的时候，让标定板在画面中占 1/3 到 1/2 的面积。太小了角点检测不准，太大了容易超出景深范围。

嗯，相机成像模型这部分就这些。搞懂了针孔模型、内参矩阵、畸变模型和标定原理，你就能把相机输出的像素坐标和真实世界的三维坐标对应起来。这是后面做手眼标定和视觉定位的基础，务必吃透。