📚 课程目录第3章 BEV感知概述

3. BEV感知概述

在自动驾驶的感知系统中，摄像头、激光雷达、毫米波雷达各自工作在完全不同的坐标系里：摄像头看到的是透视图像平面，激光雷达输出的是三维点云，而规划控制模块真正需要的，是一个统一、稳定、可直接用于决策的“上帝视角”空间表示。BEV（Bird's Eye View，鸟瞰图）正是为弥合这一鸿沟而生的中间表示。理解 BEV 的定义、优势、方法分类以及 BEVFormer 在其中的位置，是掌握后续多摄像头 3D 检测工程的前提。

一、BEV 的定义：从“看到什么”到“在哪里”

BEV 是一种以自车（Ego Vehicle）为原点、在水平地面上展开的俯视栅格表示。它把三维空间沿高度方向压缩，用二维网格（通常为 H×W）承载每个空间位置上的语义、占用、速度或特征信息。可以把它理解为一张“以米为单位、以自车为中心”的语义地图：每个格子对应真实世界中一块固定大小的地面区域，例如 0.5m×0.5m。

BEV 表示通常包含三类信息：几何信息（每个格子对应的空间坐标）、语义信息（车道线、可行驶区域、车辆、行人等类别）以及时序信息（同一格子在不同时刻的状态变化）。与透视图像相比，BEV 最大的特点是尺度一致、无透视畸变、遮挡关系明确，因此天然适合做多传感器融合与下游规划。

BEV 不是某一种网络结构，而是一种空间表示约定：它规定了“感知结果应该放在哪个坐标系、以什么粒度表达”。网络结构可以千差万别，但输出必须落到这个统一约定上，才能被融合与规划模块消费。

二、BEV 感知的优势

为什么业界从“图像检测 + 后处理投影”转向“端到端 BEV 感知”？核心原因可以归纳为四点。

统一坐标系，便于多传感器融合：摄像头、激光雷达、毫米波雷达的观测都可以投影到同一 BEV 栅格中，融合从“跨模态对齐难题”变成“同构特征拼接”。
尺度一致，利于 3D 检测与测距：透视图像中远处目标只有几个像素，近处目标占据大片区域；BEV 中同一类目标无论远近都占据相近的物理尺寸，回归距离和尺寸更稳定。
时序融合自然：自车运动可以精确地转化为 BEV 栅格的平移与旋转，历史帧特征能够直接对齐到当前帧，形成时空记忆，显著提升遮挡与截断目标的召回。
贴近下游规划控制：规划模块本身就在 BEV 空间做轨迹搜索与碰撞检测，感知直接输出 BEV 结果，减少了坐标转换与信息损失。

下表对比了透视空间感知与 BEV 空间感知在关键维度上的差异：

对比维度	透视图像空间感知	BEV 空间感知
坐标原点	相机光心	自车中心
尺度一致性	近大远小，尺度随深度变化	物理尺度一致，与距离无关
多传感器融合	需跨视角对齐，误差累积	同栅格直接融合
时序对齐	受视角变化影响大	刚体变换即可对齐
下游可用性	需额外投影与后处理	可直接用于规划控制
典型输出	2D 框、语义分割图	3D 框、占用栅格、BEV 语义图

三、主流 BEV 方法分类

当前 BEV 感知方法可以按“如何从图像得到 BEV 特征”这一核心问题划分为三大流派，它们在精度、算力与部署难度上各有取舍。

基于几何投影的方法（LSS 类）：以 Lift-Splat-Shoot 为代表，先为每个像素预测深度分布，将图像特征“抬升”到三维视锥，再沿高度方向“拍扁”到 BEV 平面。优点是几何可解释性强，缺点是对深度估计误差敏感，且显存占用随深度候选数增长。
基于 Transformer 查询的方法（BEVFormer 类）：预设一组 BEV 查询（Query），通过空间交叉注意力从多相机图像中采样特征，再通过时序自注意力融合历史 BEV。它不显式预测深度，而是让网络自己学习“从哪个像素取信息”，在遮挡和远距离场景中表现更稳健。
基于点云或深度监督的方法：利用激光雷达点云或稠密深度图作为监督信号，辅助图像特征向 BEV 空间投影，常见于训练阶段使用 LiDAR、推理阶段仅用摄像头的方案。

三类方法并非互斥，工程中常出现“Transformer 查询 + 深度辅助监督”的混合形态。选择哪一类，取决于算力预算、标注成本与对时序建模的需求强度。

四、BEVFormer 的定位与核心思想

BEVFormer 是纯视觉 BEV 感知中“Transformer 查询流派”的代表工作。它的定位可以概括为：用一套可学习的 BEV 查询，统一完成多相机空间融合与时序融合，输出可直接用于 3D 检测和分割的 BEV 特征。

其核心由两个注意力模块构成：空间交叉注意力（Spatial Cross-Attention）负责让每个 BEV 查询在多个相机的图像特征中采样；时序自注意力（Temporal Self-Attention）负责让当前查询与历史 BEV 特征交互，从而引入运动信息与记忆。二者叠加，使 BEVFormer 在 nuScenes 等数据集上以纯视觉方案取得了接近甚至超越部分激光雷达方案的检测精度。

BEVFormer 前向流程（简化）：
1. 多相机图像 → 骨干网络 + FPN → 多尺度图像特征
2. 初始化 BEV 查询 Q ∈ R^(H×W×C)
3. 为每个查询生成 3D 参考点，投影到各相机图像平面
4. 空间交叉注意力：在命中视角的图像特征上采样并聚合
5. 时序自注意力：与上一帧对齐后的 BEV 特征交互
6. 输出 BEV 特征 → 检测头 / 分割头

下图展示了本节的核心知识结构：从多相机输入到 BEV 表示，再到三类方法的分流与 BEVFormer 的定位。

五、常见误区与工程复盘

误区一：把 BEV 当成“俯视摄像头图像”。 俯视图像只是视觉上像 BEV，但它没有统一的物理尺度，也没有跨相机融合能力。真正的 BEV 表示必须建立在自车坐标系与固定栅格分辨率之上。

误区二：认为 BEV 一定需要激光雷达。 BEVFormer 等工作已经证明，纯视觉方案通过 Transformer 查询同样可以获得高质量 BEV 特征。激光雷达更多是作为训练阶段的监督信号，而非推理必需。

工程复盘建议： 在选型时先明确三个问题——算力预算是否支持 Transformer 查询的注意力开销？是否需要时序记忆来处理遮挡？标注数据中是否有深度或点云可用于辅助监督？回答清楚这三点，再决定采用 LSS 类、BEVFormer 类还是混合方案，比盲目追新更有效。

总结来看，BEV 是自动驾驶感知从“图像理解”走向“空间理解”的关键表示层。它用统一的自车坐标系解决了多传感器融合、尺度一致与时序对齐三大难题。主流方法围绕“如何从图像得到 BEV 特征”分化为几何投影、Transformer 查询与深度监督三条路线，而 BEVFormer 以可学习的 BEV 查询和空间—时序双重注意力，成为纯视觉 BEV 感知中兼顾精度与工程可行性的重要基准。掌握这一节的坐标系与分类逻辑，后续搭建多摄像头 3D 检测工程时，才能清楚每一步在整体链路中的位置与取舍。