3. 3D感知任务全景
3D感知并不是单一算法，而是一组围绕三维空间理解构建的任务族。它们共享点云、深度图、多视图图像、体素、网格等数据形态，却在输出空间、监督信号和评价指标上差异显著。理解任务全景，是后续选择数据集、设计标注规范与搭建Benchmark评测体系的前提。
一、任务分类与核心原理
按输出语义层级，可将常见3D感知任务分为四类：几何估计类（深度估计、点云配准、场景补全）、目标级理解类（3D目标检测、3D跟踪）、稠密语义类（3D语义分割、3D实例分割）、以及跨模态融合类（多传感器联合感知）。它们的关系并非并列，而是层层递进：几何是基础，目标是中层抽象，语义与实例是稠密理解，跟踪则引入时间维度。
3D目标检测输出带朝向的三维边界框（中心、尺寸、偏航角），典型方法分为基于体素、基于点、基于柱体和基于查询的范式。3D语义分割为每个点或体素分配类别标签，强调场景级稠密分类。3D实例分割进一步区分同类不同个体，输出“类别+实例ID”的点集合。点云配准估计两帧或多帧之间的刚体变换，是SLAM与多帧融合的基石。深度估计从单目、双目或多视图恢复逐像素深度。场景补全在部分观测下推断缺失几何与语义。3D跟踪则在连续帧中维持目标身份，输出轨迹。
二、典型任务对照与评价指标
| 任务 | 输入 | 输出 | 典型指标 | 典型场景 |
|---|---|---|---|---|
| 3D目标检测 | 点云/图像 | 3D框+类别+朝向 | 3D mAP、BEV mAP | 自动驾驶、机器人抓取 |
| 3D语义分割 | 点云/体素 | 逐点类别 | mIoU、OA | 室内建模、道路理解 |
| 3D实例分割 | 点云 | 实例掩码+类别 | AP、PQ | 货架分拣、场景编辑 |
| 点云配准 | 两帧点云 | R,t变换 | RMSE、成功率 | SLAM、多帧拼接 |
| 深度估计 | 单目/双目/多视图 | 深度图 | AbsRel、δ<1.25 | AR、无人机避障 |
| 场景补全 | 部分点云 | 完整几何+语义 | IoU、Chamfer | 室内重建、仿真 |
| 3D跟踪 | 连续帧点云 | 轨迹+ID | MOTA、AMOTA | 车流监控、行为预测 |
三、方法流程与数据流关系
尽管任务各异，典型3D感知流水线可抽象为：数据采集 → 坐标对齐 → 特征提取 → 任务头 → 后处理 → 评测。其中坐标对齐与特征提取是共性瓶颈。点云稀疏、无序、密度不均，导致直接卷积困难；体素化会损失分辨率，PointNet类方法则受限于局部邻域聚合效率。多模态融合进一步引入图像纹理与点云几何的时空对齐问题。
典型3D检测数据流：
LiDAR扫描 → 去畸变 → 地面分割 → 体素化/柱体化
→ 3D骨干网络 → BEV特征 → 检测头
→ NMS/解码 → 3D框 → 与GT匹配计算mAP
典型配准数据流：
源点云 → 特征描述子 → 对应点搜索
→ RANSAC/加权SVD → 初始变换
→ ICP精配准 → 最终R,t → 评估RMSE下图给出七类任务在同一感知栈中的位置关系与数据流向，帮助建立整体认知。
四、典型应用场景与案例
- 自动驾驶：3D检测识别车辆、行人、骑行者；3D跟踪维持目标ID以支撑预测与规划；语义分割理解可行驶区域与路沿。
- 机器人抓取：实例分割区分堆叠物体，配准估计抓取位姿，深度估计提供近距离精细几何。
- 室内重建与AR：场景补全恢复被遮挡的墙面与家具，深度估计支撑虚实遮挡与尺度一致。
- 智慧交通与安防：路侧LiDAR进行多目标跟踪与流量统计，强调长时稳定ID与低漏检。
- 工业质检：点云配准对齐CAD模型与扫描件，语义分割定位缺陷区域。
五、常见误区与复盘要点
误区二：忽视坐标系与传感器标定。配准、融合、跟踪任务中，外参误差会直接放大为轨迹漂移。
误区三：用单一数据集结论代表泛化能力。不同LiDAR线束、天气、地域分布差异极大，跨数据集评测才能暴露真实短板。
误区四：混淆语义分割与实例分割的标注成本。实例ID在遮挡和同类密集场景下标注一致性极低，需在标注规范中明确边界。
综上，3D感知任务全景可视为从几何到语义、从静态到动态、从单帧到时序的连续谱系。掌握每个任务的输出定义、评价单位与典型失效条件，是后续数据集选型、标注体系设计与Benchmark工程化的共同基础。