深度相机基础：深度相机工作原理与点云概念

深度相机与普通RGB相机最大的区别在于，它能够在获取二维彩色图像的同时，直接测量场景中每个像素点到相机的物理距离，从而为姿态估计、动作捕捉、三维重建等任务提供最关键的几何信息。本章将系统讲解三种主流深度相机技术（结构光、ToF、双目立体视觉）的工作原理，并深入剖析深度图像与点云这两个核心数据形态的数学定义、存储格式与工程应用要点。理解这些底层机制，是后续进行人体骨骼关键点提取、动作序列分析的前提。

3.1 结构光深度相机：编码光斑与三角测量

核心原理

结构光技术基于主动投射已知编码图案（红外激光散斑、条纹或网格）到物体表面，然后由红外相机拍摄被物体表面调制后的图案。由于投射器与相机之间存在固定的空间基线（Baseline），物体表面的凹凸会使得拍摄到的图案发生位移，这个位移量（视差）与物体深度成反比关系。通过标定好的三角几何模型，即可逐像素计算出深度值。

以Kinect v1为例，其投射器发射的是随机衍射红外散斑，每个局部区域的散斑图案在特定距离上具有唯一性。系统通过将当前帧的散斑图与参考平面（通常在已知距离处采集）进行块匹配，得到视差图，再转换为深度图。这种方法的优势在于单帧即可获取全图深度，无需扫描，适合动态场景。

关键参数与工程判断

实战场景：近距离手部姿态估计

在桌面级手势识别系统中，结构光相机（如Intel RealSense SR305）常被部署在屏幕上方。某实验室搭建手势控制系统时，遇到以下问题：当手距离相机超过1.2m时，深度图出现大量黑色空洞，导致手部关键点丢失。分析发现，结构光散斑在远距离时能量衰减严重，且散斑图案在低反射率表面（如黑色鼠标垫）上对比度不足。解决方案是：将相机安装高度从60cm降低至40cm，并调整投射器功率至中等档位，同时将感兴趣区域限制在0.3~1.0m。优化后，深度图完整率从72%提升至96%，手部21个关键点的平均误差从8mm降至3.5mm。

3.2 ToF深度相机：光飞行时间测量

核心原理

ToF（Time-of-Flight）相机通过测量红外光从发射到反射回传感器的时间差来计算距离。工程上不直接测量光速飞行时间（皮秒级），而是采用连续波调制（CW-ToF）方式：发射正弦波或方波调制的红外光，传感器在每个像素上采集多个相位偏移的采样值，通过四步相移算法解算出相位差，进而得到距离。公式为：d = (c × Δφ) / (4π × f_mod)，其中c为光速，Δφ为相位差，f_mod为调制频率（通常20~100MHz）。

ToF的核心优势在于其像素级并行计算能力，每个像素独立测量距离，因此帧率可以做到30~60fps，且不受物体纹理影响。Azure Kinect DK采用ToF方案，在1m处深度精度可达±1.7mm，且具备多频调制以解决距离模糊问题（扩展非模糊距离）。

操作流程与标定要点

1. 内参标定：使用棋盘格或圆点板标定深度相机的焦距、主点、畸变系数，确保深度图与RGB图对齐。
2. 多机同步：多台ToF相机同时工作时，需通过硬件触发信号（如GPIO）同步曝光，避免相互干扰。
3. 温度补偿：ToF传感器对温度敏感，长时间运行后深度值会漂移，需周期性参考固定平面进行校正。
4. 飞点滤波：物体边缘处易产生飞点（深度突变），需应用中值滤波或置信度阈值剔除。

3.3 双目立体视觉：视差计算与匹配代价

核心原理

双目立体视觉模仿人眼，使用两个水平放置的RGB相机同时拍摄。对于空间中的一点P，其在左右图像中的投影点存在水平视差d = x_left - x_right。根据相似三角形原理，深度Z = (f × B) / d，其中f为焦距（像素单位），B为基线长度。因此，深度精度与基线长度成正比，与视差精度成反比。

双目方案的关键在于立体匹配（Stereo Matching）算法，即找到左右图像中对应像素点。常用方法包括块匹配（Block Matching）、半全局匹配（SGM）和基于深度学习的方法。SGM通过能量函数最小化，在保持实时性的同时获得较高质量的视差图。ZED 2相机采用SGM算法，在1080p分辨率下可达到15fps的深度输出。

深度图与点云的基本概念

深度图像（Depth Map）：是一个单通道图像，每个像素值代表该点距离相机光心平面的垂直距离（单位通常为毫米）。深度图与RGB图对齐后，每个像素同时具有颜色和深度信息。深度图的数据类型通常为16位无符号整数（0~65535mm），其中0表示无效测量。

点云（Point Cloud）：是三维空间点的集合，每个点包含三维坐标(X, Y, Z)以及可选的RGB颜色、法向量、强度值。点云可以通过深度图结合相机内参反投影得到：

// 深度图转点云（伪代码）
for v in 0..height:
  for u in 0..width:
    Z = depth[v][u] / 1000.0  // 毫米转米
    if Z == 0: continue
    X = (u - cx) * Z / fx
    Y = (v - cy) * Z / fy
    point_cloud.push({X, Y, Z, R, G, B})

实战场景：多相机融合动作捕捉

在影视级动捕棚中，通常部署8~16台深度相机（如Azure Kinect）覆盖360°空间。某团队搭建系统时遇到点云拼接错位问题：相邻相机重叠区域的人体点云出现双影。排查过程如下：① 检查各相机内参标定文件，发现其中一台相机的焦距参数偏差0.3%；② 使用ICP（迭代最近点）算法对静态标定板点云进行精配准，计算相机间外参；③ 在软件层面设置点云融合的权重函数，重叠区域取置信度高的点。最终，拼接后的人体点云表面误差从±15mm降至±3mm，满足动捕精度要求。

3.4 三种技术对比与选型策略

3.5 深度数据质量评估与预处理

无论采用哪种技术，深度数据都包含噪声、空洞和飞点。在输入姿态估计算法前，必须进行质量评估与预处理。评估指标包括：深度图完整率（有效像素占比）、时间域抖动（同一静态点的深度标准差）、空间域平滑度（相邻像素深度差）。预处理流程通常为：

1. 空洞填充：使用双边滤波或最近邻插值填补小面积空洞（<10像素）。
2. 飞点去除：基于邻域一致性，若某点深度与周围8邻域中位数差超过阈值（如50mm），则标记为飞点。
3. 时间域滤波：对每个像素的深度序列进行指数移动平均（EMA），权重α=0.3~0.5。
4. 空间域平滑：应用引导滤波（Guided Filter）以RGB图像为引导，保持边缘的同时平滑深度。