三维重建基础：相机成像模型与坐标系转换

三维重建的本质，是从二维图像中恢复物体的三维几何信息。而这一切的起点，是理解相机如何将三维世界投影到二维像素平面。针孔模型是这一过程的理想化抽象，畸变则是对真实镜头偏离理想模型的修正；坐标系转换则是连接世界、相机、图像与像素四个层次之间的桥梁。深度获取原理则决定了我们如何从多视角或主动光中恢复出距离信息。本章将系统拆解这些基础概念，为后续的结构光编码与解码算法奠定数学与物理基础。

上图展示了从三维世界到二维像素的完整映射链路。世界坐标系中的点经过刚体变换（旋转R和平移t）进入相机坐标系，再通过透视投影落到图像物理坐标系，最后经过仿射变换（像素缩放与平移）得到像素坐标。畸变模型在投影前后对坐标进行修正，而深度获取则是在这条链路的逆向或辅助过程中，恢复出被投影丢失的Zc信息。

2.1 针孔模型：理想化的线性投影

针孔模型是相机成像的最基本数学模型。它假设光线通过一个无限小的孔（光心）投射到成像平面上，形成倒立的实像。在实际应用中，我们通常将成像平面虚拟到光心前方，从而得到正立的虚像，便于数学表达。该模型的核心是相似三角形原理，将三维点映射到二维平面。

x = f · Xc / Zc
y = f · Yc / Zc

针孔模型的矩阵形式为：

Zc · [x, y, 1]ᵀ = [f 0 0; 0 f 0; 0 0 1] · [Xc, Yc, Zc]ᵀ

这里的 3×3 矩阵是内参矩阵的雏形，但实际相机还需要考虑像素尺寸、主点偏移等因素，因此完整内参矩阵 K 为：

K = [fx  0  cx;
     0  fy  cy;
     0   0   1]

其中 fx = f/dx，fy = f/dy（dx、dy 为单个像素的物理尺寸），(cx, cy) 为主点（光轴与成像平面的交点）在像素坐标系中的坐标。fx、fy 的单位是像素，它们将物理尺寸（mm）转换为像素单位。

2.2 镜头畸变：真实镜头的非线性修正

实际镜头并非完美针孔，而是存在各种像差。其中对三维重建影响最大的是径向畸变和切向畸变。径向畸变使直线成像为曲线，表现为“桶形”（k1<0）或“枕形”（k1>0）；切向畸变则源于镜头与成像平面不平行，导致图像在边缘处发生拉伸或压缩。

畸变模型通常用多项式描述。设 (x_dist, y_dist) 为畸变后的坐标，(x, y) 为理想针孔投影坐标，r² = x² + y²，则：

x_dist = x · (1 + k1·r² + k2·r⁴ + k3·r⁶) + 2·p1·x·y + p2·(r² + 2x²)
y_dist = y · (1 + k1·r² + k2·r⁴ + k3·r⁶) + p1·(r² + 2y²) + 2·p2·x·y

在结构光系统中，畸变校正的精度直接影响相位-深度映射的准确性。若畸变未校正，投影的条纹图案会发生弯曲，导致解码出的相位出现系统性误差，最终表现为重建点云的曲面扭曲。

2.3 四大坐标系转换：从世界到像素的完整链路

三维重建中涉及四个坐标系：世界坐标系（描述物体在真实世界的位置）、相机坐标系（以光心为原点）、图像物理坐标系（以主点为原点，单位mm）、像素坐标系（以图像左上角为原点，单位pixel）。转换过程分为三步：

1. 刚体变换（世界→相机）： [Xc, Yc, Zc]ᵀ = R · [Xw, Yw, Zw]ᵀ + t。R 为 3×3 旋转矩阵，t 为 3×1 平移向量。这6个参数（3旋转+3平移）称为外参，描述了相机在世界中的位姿。
2. 透视投影（相机→图像）： x = f·Xc/Zc，y = f·Yc/Zc。这一步将三维点投影到归一化平面（Zc=1）上。
3. 仿射变换（图像→像素）： u = fx·x + cx，v = fy·y + cy。将物理坐标转换为像素坐标，同时补偿像素阵列的倾斜（通常忽略）。

合并后的完整投影方程为：

Zc · [u, v, 1]ᵀ = K · [R | t] · [Xw, Yw, Zw, 1]ᵀ

其中 [R|t] 是 3×4 外参矩阵，K 是 3×3 内参矩阵。这个 3×4 投影矩阵 P = K·[R|t] 称为相机投影矩阵，它包含了所有成像参数。

2.4 深度获取原理概述：三种主流方法对比

深度获取是三维重建的核心任务。根据原理不同，主要分为三类：

结构光方法的核心是三角测量原理：投影仪向物体投射编码图案（如正弦条纹），相机从另一角度拍摄。物体表面的高度变化会使条纹发生形变，通过解调条纹相位即可计算出深度。其数学基础是：

Z = (f · b) / (d + f · tan(θ))

其中 b 为相机与投影仪的光心距离（基线），d 为对应点的视差，θ 为投影角度。实际系统中，通常通过标定得到相位-深度映射表，而非直接使用几何公式。

2.5 常见误区与总结

在三维重建系统开发中，初学者常犯以下错误：

• 忽略畸变校正：直接使用未校正的图像进行相位计算，导致边缘区域深度误差可达毫米级。
• 坐标系混淆：将像素坐标直接当作图像物理坐标使用，忘记除以焦距和减去主点。
• 外参标定不准确：相机与投影仪的相对位姿误差会直接转化为深度误差，且随距离增大而放大。
• 忽视温度影响：投影仪灯泡发热会导致光学系统变形，使标定参数失效。