2. 相机成像基础

在Halcon相机标定流程中，所有高级操作——无论是畸变校正、测量还是三维重建——都建立在对相机成像物理过程的精确数学描述之上。本章将系统梳理针孔模型、四大坐标系的转换链路以及内参外参的物理含义，为后续标定实操奠定理论基础。

2.1 针孔模型：理想成像的数学抽象

针孔模型（Pinhole Model）是相机成像最基础、最常用的近似模型。它假设光线沿直线传播，场景中某一点发出的光线通过一个无限小的“针孔”后，在后方成像平面上形成倒立的实像。实际工业相机中的镜头系统虽然复杂，但在标定与畸变校正的语境下，我们通常将镜头等效为一个理想针孔，再通过畸变系数来修正实际镜头与理想模型的偏差。

针孔模型的几何关系可以用相似三角形描述。设空间点 P(X, Y, Z) 在相机坐标系下，其成像点 p(x, y) 在物理成像平面上，焦距为 f，则有：

x = f * (X / Z)
y = f * (Y / Z)

这里 Z 是点到相机光心（投影中心）的深度。注意，针孔模型中的成像平面位于光心后方，实际图像传感器采集到的正是这个倒像。在数学处理上，我们常将成像平面对称到光心前方，以简化坐标方向，不影响几何关系。

2.2 四大坐标系及其转换链路

相机成像涉及从三维世界到二维像素的完整映射，这一过程需要依次经过四个坐标系：世界坐标系、相机坐标系、图像坐标系和像素坐标系。理解它们之间的转换关系，是标定原理的核心。

2.2.1 坐标系定义

2.2.2 转换流程与数学表达

完整的转换链路为：世界坐标 → 相机坐标 → 图像坐标 → 像素坐标。每一步都是线性变换（除畸变外），最终可合并为一个3×4投影矩阵。

第一步：世界坐标 → 相机坐标（刚体变换）

该变换包含旋转和平移，不改变物体形状，只改变观察视角。用齐次坐标表示为：

[Xc]   [ R11 R12 R13  Tx ] [Xw]
[Yc] = [ R21 R22 R23  Ty ] [Yw]
[Zc]   [ R31 R32 R33  Tz ] [Zw]
[1 ]   [ 0   0   0    1  ] [1 ]

其中 R 为3×3旋转矩阵，T 为3×1平移向量。R 和 T 合称为相机的外参（Extrinsic Parameters），它们描述了相机在世界坐标系中的位姿。

第二步：相机坐标 → 图像坐标（透视投影）

利用针孔模型，将三维点投影到二维成像平面：

x = f * (Xc / Zc)
y = f * (Yc / Zc)

这一步将三维信息压缩为二维，深度信息 Zc 在此过程中被“除”掉，因此单目相机无法直接恢复深度。

第三步：图像坐标 → 像素坐标（仿射变换）

将物理毫米坐标转换为像素行列坐标，涉及像素尺寸和主点偏移：

u = (x / dx) + cx
v = (y / dy) + cy

其中 dx、dy 分别为每个像素在x、y方向上的物理尺寸（mm/pixel），(cx, cy) 为主点（光轴与成像平面交点）的像素坐标。将上述三步合并，可得到完整的投影方程：

Zc * [u]   [ fx  0  cx  0 ] [ R  T ] [Xw]
     [v] = [ 0  fy  cy  0 ] [ 0  1 ] [Yw]
     [1]   [ 0   0   1   0 ]          [Zw]
                                      [1 ]

其中 fx = f/dx，fy = f/dy，单位为像素。矩阵 K = [[fx, 0, cx], [0, fy, cy], [0, 0, 1]] 即为内参矩阵（Intrinsic Matrix），它包含了焦距、主点等相机内部固有属性。

2.3 内参与外参的物理意义与标定目标

内参（Intrinsic Parameters）描述相机本身的几何与光学特性，与相机在世界中的位置无关。主要包括：

• 焦距（fx, fy）：单位像素，反映镜头光学放大倍数。
• 主点（cx, cy）：光轴与成像平面的交点，理想情况下位于图像中心，实际存在偏移。
• 畸变系数（径向畸变k1, k2, k3；切向畸变p1, p2）：描述镜头与理想针孔的偏差。Halcon中常用 Kappa 表示单参数除法模型，或使用多项式模型。

外参（Extrinsic Parameters）描述相机坐标系与世界坐标系的相对位姿，即旋转矩阵 R 和平移向量 T。外参随相机位置变化而变化，每次移动相机或标定板都需要重新标定外参。

标定的核心目标就是精确求解内参（以及畸变系数）和特定场景下的外参。一旦获得准确的内参，即可进行畸变校正、像素坐标与世界坐标的互转、以及三维测量等操作。

2.4 案例场景：从像素坐标反推世界坐标

在工业机器人抓取应用中，常需要将图像中目标点的像素坐标转换为机器人基座坐标系下的三维坐标。假设已完成标定，已知内参 K 和相机外参 [R|T]，且目标点位于已知高度的平面上（例如传送带平面 Zw = 0），则可通过以下步骤求解：

1. 将像素坐标 (u, v) 转换为归一化图像坐标：x_n = (u - cx) / fx，y_n = (v - cy) / fy。
2. 在相机坐标系下，该点对应的射线方向为 (x_n, y_n, 1)。
3. 利用外参将射线方向转换到世界坐标系，并与平面 Zw = 0 求交点，即可得到世界坐标 (Xw, Yw, 0)。

Halcon中可直接使用算子 image_points_to_world_plane 完成上述计算，其内部正是基于本章所述的坐标系转换原理。

2.5 常见误区与复盘