3. 深度学习基础回顾

三维目标检测与姿态估计并不是一套完全独立的深度学习体系，它大量继承了二维视觉中的骨干网络、注意力机制、损失设计与优化策略，同时又必须针对点云的无序性、稀疏性、旋转敏感性和尺度变化做出适配。本节从四个基础模块出发，梳理它们在三维任务中的角色与改造方式，帮助你把“二维经验”迁移到“三维问题”上。

一、卷积神经网络：从规则网格到三维体素与投影

CNN 的核心假设是局部相关性与平移等变性，这使其天然适合规则网格数据。在三维任务中，CNN 主要通过三种方式被复用：

  • 体素化卷积：将点云量化到规则三维体素网格，再用 3D 卷积提取特征。优点是结构规整、可直接复用 2D CNN 设计；缺点是分辨率提高时显存与计算量呈立方增长。
  • 投影卷积：将点云投影为鸟瞰图（BEV）或前视图（Range View），再用 2D CNN 检测。BEV 保留了水平面几何关系，适合自动驾驶场景，但会损失高度细节。
  • 稀疏卷积：只对非空体素计算，避免大量空体素浪费。它已成为当前三维检测骨干的主流选择，兼顾精度与效率。

适配要点在于：卷积核尺寸、下采样倍率和感受野需要与目标物理尺度匹配。例如检测行人时，体素边长通常取 0.1～0.2 m；检测大型车辆时可适当放大到 0.2～0.4 m。

二、点云网络：直接处理无序点集

PointNet 系列解决了点云的两个根本问题：无序性和置换不变性。其核心是使用对称函数（如最大池化）聚合逐点特征，使输出与输入点顺序无关。PointNet++ 进一步引入分层采样与局部特征聚合，形成类似 CNN 的层级感受野。

在三维检测中，点云网络常用于：

  • 候选区域特征提取：在二阶段检测器中，对每个候选框内的点做局部编码，输出更精细的框回归与类别分数。
  • 点级分割与姿态关键点：通过逐点标签预测部件或关键点，再结合几何约束求解姿态。
  • 与体素/投影分支融合：用点分支补充体素量化丢失的细节，形成多表示互补。
点云网络对采样数量敏感：训练时随机采样、推理时均匀采样，若两者分布差异过大，会导致精度明显下降。建议固定采样策略或加入采样一致性增强。

三、Transformer：全局建模与三维适配

Transformer 的自注意力机制能够建模长距离依赖，弥补 CNN 局部感受野的不足。在三维任务中，它主要有三种适配形态：

  1. 点云 Transformer：将每个点或每个局部簇视为 token，通过注意力聚合全局上下文。为控制计算量，通常采用最远点采样加局部邻域分组。
  2. BEV Transformer：在鸟瞰图特征上做注意力，适合多传感器融合与长距离目标检测。
  3. 查询式检测：用一组可学习查询向量直接预测目标框与类别，省去锚框设计，简化后处理。

适配难点在于计算复杂度随 token 数平方增长。常用策略包括：窗口注意力、稀疏注意力、以及先降采样再注意力的金字塔结构。

四、损失函数与优化方法：三维任务的特殊约束

三维检测的损失通常由分类损失、框回归损失和方向损失组成。与二维不同，三维框多了偏航角、尺寸和中心高度，且角度存在周期性，直接回归容易在边界处产生跳变。

损失/优化项 作用 三维适配要点
Focal Loss 缓解正负样本不平衡 前景点稀疏，需配合难例挖掘
Smooth L1 回归中心与尺寸 对中心偏移敏感，常分轴加权
角度分类/回归 预测偏航角 用 bin 分类加残差回归避免周期跳变
IoU 损失 直接优化框重叠度 需实现 3D IoU 或旋转 IoU 近似
AdamW 优化网络参数 配合余弦退火与 warmup 更稳定

优化方面，三维任务常面临显存受限与 batch size 偏小的问题。可采用梯度累积、混合精度训练和分阶段解冻策略。学习率通常从 1e-4 到 3e-4 起步，配合 warmup 避免早期震荡。

# 典型三维检测训练配置片段
optimizer = AdamW(model.parameters(), lr=2e-4, weight_decay=0.01)
scheduler = CosineAnnealingLR(optimizer, T_max=epochs, eta_min=1e-6)
loss_cls = FocalLoss(alpha=0.25, gamma=2.0)
loss_box = SmoothL1Loss(beta=1.0/9)
loss_angle = CrossEntropyLoss() + SmoothL1Loss()
total_loss = loss_cls + 2.0 * loss_box + 1.0 * loss_angle

五、案例场景：从二维迁移到三维的常见误区

假设你要把一套成熟的二维检测器迁移到点云 BEV 检测。常见误区有三：

  • 直接套用二维锚框：BEV 中目标尺度与二维图像差异大，锚框尺寸必须按数据集统计重新聚类。
  • 忽略方向损失：只回归中心与尺寸，会导致车辆朝向错误，进而影响后续跟踪与预测。
  • 数据增强不匹配：二维常用的随机裁剪在点云中会破坏几何连续性，应改用全局旋转、缩放和局部点扰动。
三维任务中，验证集指标与二维不可直接比较。mAP 的计算依赖 3D IoU 阈值，通常取 0.25 或 0.5，报告结果时必须注明阈值与难度等级。

六、复盘：四类基础模块的协同关系

CNN 提供高效的局部特征提取，点云网络保留原始几何细节，Transformer 补充全局上下文，损失与优化则决定训练能否收敛到高质量解。四者不是替代关系，而是互补关系。实际系统中，常见组合是：稀疏卷积骨干 + 点云候选细化 + 注意力融合 + 多任务损失。理解每个模块的适用边界，比盲目堆叠结构更重要。

三维检测中四类基础模块的协同关系 CNN 体素 / BEV / 稀疏卷积 局部特征提取 点云网络 PointNet / PointNet++ 无序点集与局部几何 Transformer 自注意力 / 查询式检测 全局上下文建模 多表示特征融合 体素 + 点 + BEV + 注意力 损失函数与优化 分类 + 框回归 + 角度 + 3D IoU 局部特征 + 原始几何 + 全局上下文 → 融合表示 → 多任务损失驱动优化

掌握这四类基础模块在三维任务中的适配方式，是后续学习具体检测与姿态估计网络的前提。无论是体素、点云还是 Transformer 路线，最终都要落到“如何表示三维几何”和“如何约束三维输出”这两个核心问题上。

← 上一章 📖 返回目录 下一章 →