📚 课程目录第4章点云生成实战（一）

4、点云生成实战（一）：使用Python和Open3D从深度图像生成点云

深度图像（Depth Image）与点云（Point Cloud）是三维视觉中两种最基础的数据表示形式。深度图像以二维矩阵形式存储每个像素到相机的距离信息，而点云则以三维坐标（X, Y, Z）描述物体表面在空间中的位置。从深度图生成点云，本质上是将二维图像坐标系下的像素点，通过相机内参矩阵投影到三维相机坐标系中。这一过程是三维重建、SLAM、机器人导航和工业检测等应用的基础环节。本章将围绕相机内参标定、深度图到三维坐标的数学转换、Open3D实现方法以及工程中的常见问题展开实战讲解。

4.1 核心原理：相机成像模型与逆投影

要理解从深度图生成点云的过程，首先需要掌握相机的针孔成像模型。在理想针孔模型中，三维空间中的一点 P(X, Y, Z) 通过相机光心投影到成像平面上的像素坐标 p(u, v)，其数学关系由相机内参矩阵 K 描述：

[u]   [fx  0  cx]   [X/Z]
[v] = [0  fy  cy] · [Y/Z]
[1]   [0   0   1]   [ 1 ]

其中 fx 和 fy 分别为 x 和 y 方向上的归一化焦距（单位：像素），cx 和 cy 为主点坐标（通常接近图像中心）。深度图 D(u, v) 记录的是该像素对应的空间点到相机光心所在平面的距离（通常沿光轴方向，即 Z 值）。因此，从深度图生成点云的过程就是上述投影的逆过程——已知像素坐标 (u, v) 和深度值 Z，反解出三维坐标 (X, Y, Z)：

Z = D(u, v) / scale
X = (u - cx) * Z / fx
Y = (v - cy) * Z / fy

这里的 scale 是深度值的缩放因子。例如，Kinect v2 的深度图以毫米为单位存储，scale=1；而某些 ToF 相机可能以 0.1mm 为单位，此时 scale=0.1。如果不进行正确的缩放，生成的点云会出现整体尺度错误。

  关键理解：深度图本质上是“带距离的灰度图”，每个像素值代表该方向上的距离。点云生成的核心就是利用内参矩阵将像素坐标映射到相机坐标系下的三维坐标。这一过程不涉及外参（旋转和平移），因为生成的点云位于相机坐标系原点。

4.2 相机内参标定：从理论到实践

相机内参的获取有两种途径：一是使用制造商提供的出厂参数（如 Intel RealSense 的 intrinsics），二是通过棋盘格标定法自行计算。对于精度要求较高的应用场景，建议自行标定。OpenCV 提供了完整的标定工具链，其核心步骤如下：

采集标定图像：打印 7×10 或 9×6 的棋盘格，从不同角度拍摄 15~20 张图像，确保棋盘格覆盖画面各个区域。
提取角点：使用 cv2.findChessboardCorners() 检测棋盘格内角点，并利用 cv2.cornerSubPix() 进行亚像素精化。
计算内参：调用 cv2.calibrateCamera()，输入世界坐标系下的角点坐标（通常设 Z=0）和图像坐标系下的像素坐标，输出内参矩阵 K、畸变系数 distCoeffs 以及每张图像的外参。
评估重投影误差：标定完成后，计算所有角点的重投影误差，通常应小于 0.5 像素。

参数	含义	典型值（RealSense D435）	标定影响
fx	x 方向焦距（像素）	~640	影响 X 坐标缩放
fy	y 方向焦距（像素）	~640	影响 Y 坐标缩放
cx	主点 x 坐标	~320	影响点云水平偏移
cy	主点 y 坐标	~240	影响点云垂直偏移
k1, k2, p1, p2	径向和切向畸变系数	较小值	畸变校正精度

在 Open3D 中，我们通常直接使用内参矩阵 K 而不处理畸变，因为 Open3D 的深度图生成点云功能假设输入深度图已经完成畸变校正。如果深度图来自未校正的原始传感器，需要先用 OpenCV 的 cv2.undistort() 进行校正。

4.3 操作流程：Open3D 从深度图生成点云

Open3D 提供了简洁的 API 来完成深度图到点云的转换。其核心函数为 create_point_cloud_from_depth_image()，该函数接受深度图、内参矩阵和深度缩放因子作为输入。以下是一个完整的实战示例：

import open3d as o3d
import numpy as np
import cv2

# 1. 读取深度图（假设为16位PNG，单位mm）
depth_img = cv2.imread("depth.png", cv2.IMREAD_UNCHANGED)
depth_o3d = o3d.geometry.Image(depth_img.astype(np.float32))

# 2. 定义相机内参矩阵（示例：640×480分辨率）
fx, fy = 640.0, 640.0
cx, cy = 320.0, 240.0
intrinsics = o3d.camera.PinholeCameraIntrinsic(
    width=640, height=480, fx=fx, fy=fy, cx=cx, cy=cy
)

# 3. 生成点云（深度缩放因子：1.0表示深度值单位为米，1000.0表示毫米）
pcd = o3d.geometry.PointCloud.create_from_depth_image(
    depth=depth_o3d,
    intrinsic=intrinsics,
    depth_scale=1000.0,   # 如果深度图单位是mm，则设为1000.0
    stride=1,             # 采样步长，1表示使用所有像素
    project_valid_depth_only=True  # 只保留有效深度点
)

# 4. 可视化
o3d.visualization.draw_geometries([pcd])

上述代码中，depth_scale 参数至关重要。如果深度图以毫米为单位存储，则 depth_scale=1000.0，Open3D 会将深度值除以 1000 转换为米。如果深度图已经是浮点型且单位为米，则设置 depth_scale=1.0。此外，project_valid_depth_only=True 会过滤掉深度值为 0 或无效的像素，避免生成噪声点。

4.4 案例拆解：RGB-D 相机点云生成与质量评估

下面通过一个完整的案例来演示从深度图生成点云的完整流程，并分析可能遇到的问题。假设我们使用 Intel RealSense D435 相机采集了一组桌面物体的深度图，目标是为后续的物体识别生成高质量点云。

场景与约束：相机固定在三脚架上，距离桌面约 0.8m，分辨率为 640×480，深度图以 16 位 PNG 格式保存（单位 mm）。初始现象是直接使用 Open3D 默认参数生成的点云存在两个问题：一是点云整体偏小，二是边缘存在大量飞点（噪声）。

分析过程：首先检查深度图的数值范围，发现最大深度值约为 1200，最小为 0（无效像素）。由于深度图单位为 mm，而 Open3D 默认 depth_scale=1000.0，因此点云坐标单位为米，这本身是正确的。但点云偏小的原因在于相机内参不准确——我们最初使用了 RealSense 官方提供的默认内参，但该相机在出厂后可能因温度或震动导致内参微变。于是我们重新进行了棋盘格标定，得到新的 fx=642.3, fy=641.8, cx=319.5, cy=239.8，更新后点云尺寸恢复正常。

飞点处理：边缘飞点主要来自深度图的边界区域，这些像素的深度值不可靠。我们采用两种策略：一是设置深度有效范围（如 0.3m~2.0m），过滤掉过近或过远的点；二是使用 Open3D 的统计滤波（Statistical Outlier Removal）去除离群点。具体操作如下：

# 过滤无效深度
depth_img[depth_img < 300] = 0
depth_img[depth_img > 2000] = 0

# 重新生成点云
depth_o3d = o3d.geometry.Image(depth_img.astype(np.float32))
pcd = o3d.geometry.PointCloud.create_from_depth_image(
    depth_o3d, intrinsics, depth_scale=1000.0, project_valid_depth_only=True
)

# 统计滤波去噪
cl, ind = pcd.remove_statistical_outlier(nb_neighbors=20, std_ratio=2.0)
pcd_clean = pcd.select_by_index(ind)

结果对比：经过内参修正和滤波后，点云数量从原始的 307,200 个点减少到 286,540 个点，但点云质量显著提升，边缘飞点减少约 90%，物体表面更加平滑。后续的 ICP 配准和物体识别均取得了更好的效果。

风险提示：深度图生成点云时，如果内参矩阵错误，点云会出现系统性变形（如拉伸、偏移）。此外，深度图的噪声会直接传递到点云中，因此建议在生成点云前先对深度图进行中值滤波或双边滤波。对于反光表面或透明物体，深度值往往不可靠，需要结合彩色图进行掩膜处理。

4.5 常见误区与总结复盘

在实际工程中，从深度图生成点云看似简单，但经常出现以下问题：

深度单位混淆：不同传感器深度单位不同（mm、cm、m），忘记设置正确的 depth_scale 会导致点云尺度错误。建议在代码中显式注释深度单位。
内参矩阵不匹配：深度图分辨率与内参矩阵的分辨率不一致（如深度图是 320×240，但内参是 640×480），会导致点云坐标错乱。务必确保两者匹配。
忽略畸变校正：如果深度图未经过畸变校正，直接使用理想内参生成点云，边缘会产生明显的弯曲变形。对于高精度应用，应先用 OpenCV 校正深度图。
无效深度值处理：深度值为 0 或极大值的像素应被过滤，否则会在点云中产生远离主体的孤立点。

常见问题	现象	解决方案
深度单位错误	点云整体偏大或偏小	确认传感器单位，设置正确的 depth_scale
内参不准确	点云形状扭曲	重新标定内参，或使用官方 SDK 提供的精确内参
未过滤无效深度	点云中存在大量离群点	设置深度有效范围，使用 project_valid_depth_only
分辨率不匹配	点云坐标错乱	统一深度图与内参的分辨率

总结：从深度图生成点云是三维视觉的基础操作，其核心在于正确理解相机内参和深度值的物理含义。通过本章的学习，读者应掌握：① 针孔成像模型与逆投影公式；② 相机内参的标定方法；③ Open3D 中 create_point_cloud_from_depth_image() 的正确使用；④ 深度图预处理和点云后处理的基本策略。在实际项目中，建议将深度图生成点云封装为独立模块，并加入内参校验和深度值范围检查，以提高代码的鲁棒性。