3D视觉基础：深度相机原理（结构光、ToF、双目）、点云数据格式与坐标系

在工业缺陷检测场景中，2D视觉受光照、阴影、反光及物体表面纹理影响极大，而3D视觉直接获取物体表面的空间坐标，从根本上解决了高度差、平面度、体积测量及复杂曲面缺陷的检测难题。本章作为3D视觉缺陷检测实战的第一块基石，将深入剖析三种主流深度相机的工作原理、点云数据的组织格式以及贯穿整个检测流程的坐标系变换逻辑。理解这些底层机制，是后续进行点云预处理、特征提取和缺陷判别的必要前提。

上图展示了三种主流深度相机的工作原理差异以及从像素坐标到世界坐标的变换链路。在工业现场，选择哪种相机取决于具体的检测对象：结构光适合高精度小视野的静态检测，ToF适合大视野远距离的粗定位，双目则适合纹理丰富的环境。下面我们逐一展开。

2.1 结构光深度相机：编码光栅与三角测量

核心原理

结构光相机由投影仪和工业相机组成。投影仪向被测物体表面投射经过编码的红外光斑或正弦条纹，当光照射到不同高度的物体表面时，原本规则的图案会发生形变。相机从另一角度拍摄该形变图案，通过图像处理算法解调出每个像素的相位偏移量，再结合投影仪与相机之间的基线距离（Baseline）和标定参数，利用三角测量原理计算出深度值。其核心公式为：

Z = (f * B) / (d + Δd)

其中，f为相机焦距，B为投影仪与相机光心距离，d为基准平面视差，Δd为物体表面引起的视差变化。实际产品（如Intel RealSense D435、LMI Gocator）通常采用散斑编码或格雷码+相移法，以提升抗环境光能力和测量鲁棒性。

判断方法：如何评估结构光相机是否适合你的产线

• 精度需求：若检测项为0.05mm以下的划痕或高度差，结构光是首选，其Z轴重复精度可达0.01mm。
• 节拍要求：结构光多帧采集（通常3-12帧）耗时较长，若产线节拍低于2秒/件，需谨慎评估。
• 表面材质：高反光金属、透明玻璃或黑色橡胶会吸收或镜面反射红外光，导致深度数据空洞，需配合抗反光算法或喷涂显影剂。

案例拆解：连接器PIN针共面度检测

某3C电子厂需要检测连接器上12根PIN针的共面度（允许公差±0.03mm）。初始方案采用2D激光轮廓仪，但PIN针间距过小导致激光遮挡严重。改用结构光相机（分辨率1280×1024，视野20mm×16mm）后，通过以下步骤解决：

1. 参数配置：设置曝光时间40ms，投影亮度80%，采集4帧相移图像。
2. 点云生成：利用厂商SDK将深度图转为点云，去除离群点（统计滤波，邻域30点，标准差阈值1.5）。
3. 平面拟合：对PIN针顶部区域做RANSAC平面拟合，计算每根针顶点到拟合平面的距离。
4. 结果：检测速度1.5秒/件，误判率0.3%，漏检率0.1%。

复盘发现，当车间环境光从侧窗射入时，深度图出现周期性条纹噪声。最终通过在相机前加装850nm窄带滤光片，并关闭附近频闪灯，彻底解决了该问题。

2.2 ToF深度相机：相位差测距与多路径干扰

核心原理

ToF相机通过发射连续调制的红外光波（通常为20MHz-100MHz的正弦波），并测量发射波与接收波之间的相位延迟φ。距离d与相位差的关系为：

d = (c * φ) / (4π * f_mod)

其中c为光速，f_mod为调制频率。ToF传感器每个像素直接输出相位值，因此无需复杂的匹配算法，计算量小，容易实现高帧率（30-60fps）。但受限于传感器工艺，其分辨率通常较低（如QVGA 320×240），且存在系统性误差——多路径干扰（MPI），即光线在物体间多次反射后叠加到直射信号上，导致距离测量值偏大。

操作流程：ToF相机的标定与补偿

1. 温漂补偿：开机后预热10分钟，记录不同温度下的距离偏移量，建立查找表。
2. FPPN校正：对着平坦白墙采集100帧平均，计算每个像素的固定偏移并存储。
3. 多路径抑制：开启厂商提供的MPI滤波算法，或使用多频调制（如同时使用15MHz和30MHz）解算模糊距离。

实战场景：仓储物流中包裹体积测量

某物流分拣中心需要在传送带上以0.5m/s速度测量包裹长宽高（精度±5mm）。选用ToF相机（分辨率640×480，视野1.2m×0.9m，帧率30fps）。关键处理流程：

• 使用背景差分法提取包裹点云，设定高度阈值（传送带平面以上20mm）。
• 对点云做体素滤波（体素大小5mm），减少计算量。
• 计算最小外接矩形（OBB）获取长宽，取点云最高点与传送带平面差值作为高度。

实测发现，当包裹为黑色塑料袋时，ToF信号吸收严重，深度值波动达±15mm。解决方案是在传送带两侧加装补光LED（850nm），并将曝光时间从500μs提升至800μs，最终精度稳定在±3mm。

2.3 双目立体视觉：视差匹配与极线约束

核心原理

双目相机模拟人眼，通过两个水平放置的相机同时采集图像。对于空间中的一点P，其在左右图像上的投影点分别为p_left和p_right，两者在水平方向上的坐标差即为视差d = x_left - x_right。根据相似三角形原理，深度Z与视差d成反比：

Z = (f * B) / d

其中B为基线长度，f为焦距。双目系统的核心难点在于立体匹配——如何准确找到左右图像中对应的像素点。常用算法包括块匹配（BM）、半全局匹配（SGBM）以及基于深度学习的匹配网络（如PSMNet）。

判断方法：双目系统的失效模式

案例拆解：PCB板元器件高度检测

某SMT产线需要检测贴片电容、电阻的焊接高度（标准高度0.8mm±0.15mm）。采用双目相机（基线120mm，焦距8mm，分辨率1920×1200），工作距离300mm。实施过程：

1. 标定：使用7×9棋盘格（格距15mm）采集20组图像，计算内参、畸变系数及外参（R、T），重投影误差控制在0.08像素内。
2. 校正：对左右图像做极线校正，使匹配点在同一水平线上，搜索范围限制在64像素内。
3. 匹配：采用SGBM算法，设置窗口大小9×9，视差范围0-64， uniquenessRatio=10。
4. 点云生成：将视差图转为深度图，再生成点云，对每个焊点区域（ROI 5mm×5mm）拟合平面，计算中心点高度。

实际运行中，发现当板卡表面有密集的走线纹理时，SGBM会产生“条纹状”噪声。通过引入中值滤波（核5×5）和左右一致性检查（阈值1像素），将误匹配率从4.7%降至0.8%。最终检测节拍0.8秒/板，满足产线需求。

2.4 点云数据格式与坐标系变换

点云数据组织

点云是一组三维坐标点的集合，每个点通常包含X、Y、Z坐标，以及可选的强度（Intensity）、颜色（RGB）或法向量（Normal）。工业检测中常见的格式有：

• PLY：支持顶点和面片，可存储法向量和颜色，适合网格化处理。
• PCD：Point Cloud Library原生格式，支持二进制和ASCII，包含头文件信息（点数、维度、数据类型）。
• XYZ/CSV：纯文本格式，每行一个点，便于调试和与PLC通信。

# PCD v0.7 - Point Cloud Data file format
VERSION 0.7
FIELDS x y z intensity
SIZE 4 4 4 4
TYPE F F F F
COUNT 1 1 1 1
WIDTH 123456
HEIGHT 1
VIEWPOINT 0 0 0 1 0 0 0
POINTS 123456
DATA ascii
0.012 -0.034 0.256 128
0.015 -0.031 0.259 130
...

坐标系变换链路

在3D视觉检测中，至少涉及四个坐标系：像素坐标系（u,v）、图像坐标系（x,y）、相机坐标系（Xc,Yc,Zc）和世界坐标系（Xw,Yw,Zw）。从像素到相机的变换公式为：

Xc = (u - cx) * Zc / fx
Yc = (v - cy) * Zc / fy
Zc = depth_value / scale_factor

从相机到世界坐标则需要外参矩阵（旋转矩阵R和平移向量T）：

[Xw, Yw, Zw, 1]^T = [R | T] * [Xc, Yc, Zc, 1]^T

在产线部署中，通常将世界坐标系建立在传送带平面或夹具基准面上，通过标定板确定相机外参。若涉及机器人引导，还需进行手眼标定（Eye-in-Hand或Eye-to-Hand），求解相机与机器人末端之间的固定变换关系。

实战中的坐标系对齐策略

案例拆解：多相机拼接中的坐标系统一

某大型汽车零部件（长度1.2m）需要检测表面凹坑，单台相机视野不足，采用两台结构光相机分别扫描左右半幅。初始拼接时，两组点云在重叠区域（约50mm宽）存在2mm的错位。解决过程：

1. 粗配准：在工件表面粘贴3个已知间距的陶瓷标记点，通过ICP（迭代最近点）算法初步对齐。
2. 精配准：提取重叠区域的FPFH特征，使用RANSAC剔除误匹配，再进行点对面ICP，设置最大迭代次数50，均方误差阈值0.05mm。
3. 全局优化：将两台相机的位姿作为节点，建立图优化模型，最小化所有匹配点对的残差。

最终拼接误差降至0.3mm，满足检测要求。复盘经验：多相机系统务必在安装时保证两台相机光轴平行，且重叠区域不小于视野的15%，否则特征匹配容易失败。