2. 3D视觉基础
在机器人抓取任务中，3D视觉的核心任务是回答两个问题：目标在哪里（位置与姿态）和目标长什么样（形状与尺寸）。深度相机作为3D感知的“眼睛”，其成像原理直接决定了点云数据的质量、精度与适用场景。本章将系统讲解三种主流深度相机技术——结构光、飞行时间（ToF）和双目立体视觉的物理原理与工程特性，并深入解析点云数据的表示方式与坐标系变换逻辑，为后续手眼标定、点云处理与抓取规划奠定基础。
上图展示了三种深度相机技术到点云数据再到坐标系变换的整体链路。在实际工程中，选择哪种深度相机并非越贵越好，而是取决于抓取对象的尺寸、材质、反光特性、工作距离与节拍要求。下面我们逐一深入剖析每种技术的核心原理与工程要点。
2.1 结构光深度相机：编码光斑与三角测量
核心原理
结构光技术通过投影仪向场景投射已知编码图案（如红外散斑、条纹或格雷码），然后由红外相机捕捉被物体表面调制后的图案。由于投影图案是已知的，通过比对原始图案与变形图案的差异，利用三角测量原理即可计算出每个像素的深度值。其数学本质是：投影点、相机成像点与物体表面点构成一个三角形，已知基线长度和投影角度，即可求解深度。
工程特性与判断方法
| 参数维度 | 典型值 | 对抓取的影响 |
|---|---|---|
| 工作距离 | 0.3m - 3m | 近距离精度高，远距离衰减快 |
| 深度精度 | 0.1mm - 1mm | 适合小零件精密抓取 |
| 点云密度 | 高（与分辨率相关） | 可分辨细小特征 |
| 环境光敏感度 | 强 | 强光下红外图案被淹没 |
| 反光物体 | 易产生空洞 | 金属镜面需喷粉或改方案 |
案例拆解：电子元件精密装配
在某3C电子厂连接器抓取工位，使用结构光相机（如RealSense D435）对0.5mm间距的微型连接器进行定位。初始现象是：在正常车间照明下，连接器金属外壳区域出现大量深度空洞，导致抓取失败率高达15%。分析发现，金属表面镜面反射使红外图案无法被相机接收。解决方案分三步：第一，增加偏振片滤除镜面反射；第二，调整相机曝光时间与投影光强度；第三，在抓取前增加一次“飞拍”预扫描，对空洞区域进行插值补全。最终抓取成功率提升至99.7%，节拍从3.2秒缩短至2.8秒。复盘经验是：结构光方案对物体表面属性极其敏感，选型时必须用实际工件做灰度与深度质量测试。
2.2 ToF深度相机：光速测距与多路径干扰
核心原理
ToF相机通过发射连续调制光（通常是正弦波或方波），测量发射光与反射光之间的相位差，从而计算光的飞行时间，进而得到距离。其核心公式为：d = (c × φ) / (4π × f)，其中φ为相位差，f为调制频率。ToF的优势在于逐像素独立测距，无需依赖纹理特征，因此对低纹理物体（如白色纸箱、纯色塑料件）依然有效。
操作流程与调优要点
- 积分时间设置：根据物体反射率调整积分时间，反射率低（深色物体）需增加积分时间，但会增加运动模糊。
- 多路径干扰抑制：在角落或凹槽处，反射光会多次弹射导致测距偏大，需开启多路径校正算法。
- 温度补偿：ToF传感器对温度敏感，开机后需等待热稳定（约5分钟）再进行精度验证。
实战场景：物流包裹分拣
在电商分拣中心，使用ToF相机（如Basler ToF）对传送带上随机摆放的包裹进行定位。包裹尺寸从10cm到80cm不等，颜色包含黑色、深蓝色等低反射率表面。初始目标是将抓取成功率从92%提升至98%。关键参数调整包括：将积分时间从500μs提升至800μs以增强深色包裹信号；开启强光抑制模式以应对顶棚照明；同时将深度置信度阈值从0.5调整至0.3，保留更多边缘点。最终成功率达到98.6%，且未增加明显节拍损耗。风险代价是深色包裹在高速运动下（>1m/s）会产生运动模糊，需限制传送带速度。
2.3 双目立体视觉：被动视觉与计算成本
核心原理
双目立体视觉模拟人眼感知深度的方式，使用两个水平放置的相机同步采集图像，通过立体匹配算法找到左右图像中的对应点，计算视差（disparity），再根据三角测量原理恢复深度。其深度计算公式为：Z = (f × B) / d，其中f为焦距，B为基线距离，d为视差。双目方案的最大优势是无需主动光源，功耗低且不受红外干扰，但严重依赖物体表面的纹理特征。
判断方法与适用边界
- 纹理丰富（如纸箱印刷、木纹）：双目效果良好，精度可达毫米级。
- 纯色/低纹理（如白色墙面、黑色橡胶）：匹配困难，需投射随机纹理辅助。
- 重复纹理（如网格、条纹）：产生匹配歧义，需使用全局匹配算法。
案例拆解：汽车零部件抓取
在某汽车座椅骨架焊接线，使用双目相机（如ZED 2）对金属支架进行抓取定位。初始现象是：金属表面反光导致左右图像匹配错误率高达30%，点云出现大量飞点。分析过程：首先检查相机标定精度，重投影误差为0.3像素，属于正常范围；其次分析光照条件，发现弧焊火花产生强烈亮度变化。解决方案：第一，加装偏振滤光片消除镜面反射；第二，将立体匹配算法从SGM切换为ELAS（高效大规模立体匹配），提升弱纹理区域匹配鲁棒性；第三，在焊接工位与抓取工位之间增加遮光帘。最终点云有效率达到95%，抓取节拍稳定在6秒/件。复盘经验：双目方案在工业现场的最大敌人不是精度，而是光照变化与反光，必须从光学层面解决。
2.4 点云数据表示与坐标系变换
点云数据格式
点云是三维空间中离散点的集合，每个点通常包含以下属性：
| 属性 | 数据类型 | 说明 |
|---|---|---|
| X, Y, Z | float32 | 三维坐标，单位通常为米或毫米 |
| R, G, B | uint8 | 颜色信息，用于纹理辅助识别 |
| Normal (nx, ny, nz) | float32 | 法向量，用于表面特征计算 |
| Intensity | float32 | 反射强度，ToF和激光雷达常用 |
| Confidence | float32 | 深度置信度，用于滤波 |
在机器人抓取中，最常用的点云处理库是PCL（Point Cloud Library）和Open3D。点云数据量通常较大（30万-100万点/帧），因此需要体素滤波降采样以提高处理速度。
坐标系变换链路
从深度相机获取的原始数据是像素坐标（u,v），通过相机内参可转换为相机坐标系下的三维点（Xc, Yc, Zc）。但机器人抓取需要的是物体在机器人基坐标系（或工具坐标系）下的位姿，因此必须经过手眼标定获得变换矩阵。完整的变换链路为：
像素坐标 (u,v)
→ 相机坐标系 (Xc, Yc, Zc) [相机内参K]
→ 机械臂末端坐标系 (Xe, Ye, Ze) [手眼标定矩阵]
→ 机器人基坐标系 (Xb, Yb, Zb) [机器人运动学]
→ 工具坐标系 (Xt, Yt, Zt) [工具中心点TCP]其中手眼标定分为眼在手上（Eye-in-Hand）和眼在手外（Eye-to-Hand）两种模式。眼在手上的标定矩阵为相机→末端，眼在手外的标定矩阵为相机→基座。标定精度直接影响抓取精度，通常要求重投影误差小于0.5像素。
点云预处理与坐标系对齐实战
在抓取场景中，原始点云通常包含背景、地面和噪声点。标准处理流程为：
- 直通滤波：根据工作空间裁剪Z轴范围（如0.3m-1.2m），去除远处背景。
- 体素滤波：设置体素大小（如5mm），降低点云密度至10万点以内。
- 统计滤波：去除离群点（每个点邻域内点数少于阈值则剔除）。
- 平面分割：使用RANSAC算法提取桌面或传送带平面，将其法向量与机器人Z轴对齐。
- 欧式聚类：将目标物体从背景中分割出来，计算其质心与姿态。
在坐标系对齐时，需注意相机坐标系与机器人坐标系的轴方向可能不一致。例如，相机Z轴朝前，而机器人Z轴朝上，需要通过旋转矩阵进行转换。建议在标定时同时输出旋转矩阵R和平移向量t，并在代码中明确注释每个轴的含义。
2.5 三种方案对比与选型决策
| 维度 | 结构光 | ToF | 双目 |
|---|---|---|---|
| 精度 | 高（0.1-1mm） | 中（1-3cm） | 中高（1-5mm） |
| 工作距离 | 0.3-3m | 0.5-10m | 0.5-5m |
| 低纹理物体 | 优秀 | 良好 | 差（需辅助纹理） |
| 反光物体 | 差 | 中等 | 差 |
| 环境光敏感 | 高 | 低 | 中等 |
| 成本 | 中 | 高 | 低 |
| 帧率 | 30fps | 30-60fps | 15-30fps |
| 典型应用 | 精密装配、小零件 | 物流分拣、AGV避障 | 大尺寸工件、室外场景 |
选型决策建议：若抓取对象为小型电子元件且节拍要求高，优先选择结构光；若工作距离超过3m或环境光复杂，选择ToF；若成本敏感且物体纹理丰富，双目是可行方案。在实际项目中，也可采用多传感器融合（如结构光+ToF）来互补短板。