2. 3D感知基础

在3D感知数据集与Benchmark评测工程中，数据表示形式决定了标注方式、评测指标与模型接口。同一场景可以被表达为点云、深度图、体素、网格或多视图，它们之间并非互斥，而是从不同视角对三维世界的采样与组织。理解这些表示的几何含义与转换关系，是后续做数据集设计、标注质检和评测对齐的前提。

一、核心原理：五种常见3D数据表示

点云（Point Cloud）是最接近原始传感器的表示，由一组三维坐标点构成，可附带强度、颜色、法向量等属性。激光雷达输出通常是无序、稀疏且密度随距离衰减的点集，适合描述大范围场景的几何轮廓，但缺少显式表面连接关系。

深度图（Depth Map）是2.5D表示，每个像素存储该方向上的距离值。它保留了图像的规则网格结构，便于用卷积网络处理，但单视角深度图存在遮挡与视场限制，且深度值受相机内参影响，需反投影才能恢复三维点。

体素（Voxel）将空间划分为规则三维网格，每个体素记录占用、密度或特征。体素化把无序点云变为有序张量，便于3D卷积，但分辨率提高会带来立方级内存增长，因此常采用稀疏体素或八叉树。

网格（Mesh）由顶点、边和面片构成，显式表达物体表面，适合渲染、仿真与几何测量。网格通常由点云重建或CAD模型导出，拓扑质量直接影响表面积、体积等评测指标。

多视图（Multi-view）用多个相机从不同视角拍摄的RGB/深度图像描述同一场景，强调视角间的几何一致性，是NeRF、3D高斯泼溅等新范式的重要输入形式。

二、坐标系与传感器标定：内外参的几何含义

3D感知中至少涉及四类坐标系：世界坐标系（全局参考）、传感器坐标系（雷达/相机自身原点）、图像坐标系（像素平面）和车体坐标系（自动驾驶常用）。坐标变换依赖外参与内参。

• 外参（Extrinsic）：描述传感器相对世界或车体的位姿，包含旋转矩阵 R 与平移向量 t，形式为 4×4 齐次变换矩阵，用于把点从传感器系转到世界系。
• 内参（Intrinsic）：描述相机成像几何，包含焦距 fx、fy、主点 cx、cy 及畸变系数，用于把相机系三维点投影到像素平面。
• 标定（Calibration）：求解内外参的过程。相机-雷达联合标定通常借助标定板、靶标或运动约束，使点云与图像在像素级对齐。

# 相机投影：像素 = K · [R|t] · 世界点
K = [[fx,  0, cx],
     [ 0, fy, cy],
     [ 0,  0,  1]]
uv_h = K @ (R @ P_world + t)
u, v = uv_h[0]/uv_h[2], uv_h[1]/uv_h[2]

# 深度图反投影为点云
x = (u - cx) * z / fx
y = (v - cy) * z / fy
z = depth[u, v]

三、案例场景：从一帧数据到多表示

以自动驾驶一帧数据为例：激光雷达输出约 10 万点的点云；相机输出 1920×1080 的 RGB 图与对应深度图；标注团队将点云体素化为 0.1 m 分辨率栅格用于3D检测；仿真团队用网格重建道路与车辆表面；感知模型则可能同时使用多视图图像与点云做融合。评测时，不同表示对应不同指标：点云用 mAP/IoU，深度图用 RMSE/δ 阈值，网格用 Chamfer 距离，多视图用 PSNR/SSIM 或新视角合成质量。

四、误区与复盘