1. 课程导入
在自动驾驶感知系统中，单帧检测只能回答“此刻有什么”，而真实道路场景要求系统回答“它从哪里来、现在在哪里、接下来会怎样”。BEV（Bird's Eye View，鸟瞰图）时序融合与3D跟踪，正是把多传感器、多时刻的观测统一到自车坐标系下的俯视空间，并沿时间轴建立目标身份与运动状态的核心技术链路。它既是感知模块的输出终点，也是预测、规划与控制模块的输入起点。
一、核心原理：从“单帧感知”到“时空一致表达”
BEV时序融合的本质是解决三个对齐问题：空间对齐（不同传感器、不同视角统一到自车BEV坐标系）、时间对齐（历史帧与当前帧在运动补偿后融合）、特征对齐（不同模态特征在通道与语义上可融合）。常见做法包括：将图像特征通过透视变换或深度分布投影到BEV平面；将激光点云体素化后压缩到BEV；再用时序注意力、RNN、3D卷积或BEV查询（Query）机制，把历史BEV特征与当前BEV特征融合。
3D跟踪则建立在BEV检测或BEV特征之上，典型流程为：检测框/查询输出 → 数据关联（IoU、中心距离、马氏距离、外观特征）→ 运动模型预测（匀速、匀加速、CTRV）→ 状态更新（卡尔曼滤波、匈牙利匹配）→ 轨迹管理（新生、确认、丢失、删除）。其中，BEV空间的最大价值在于：目标在BEV中不会因透视投影产生尺度剧烈变化，运动模型更接近线性，关联更稳定。
二、方法流程：一条可落地的工程链路
从工程实现角度，BEV时序融合与3D跟踪通常按以下阶段推进：
- 数据预处理与同步：相机去畸变、点云运动补偿、传感器时间戳对齐，统一到自车坐标系。
- BEV特征构建：图像分支用LSS/BEVFormer/BEVDet等方案生成BEV特征；点云分支用PointPillars/VoxelNet生成BEV特征图。
- 时序融合：维护历史BEV特征队列，通过自车位姿将历史帧对齐到当前帧，使用时序注意力或3D卷积融合。
- 3D检测/查询：在BEV特征上输出3D框或查询向量，得到目标中心、尺寸、朝向、速度与类别。
- 数据关联与状态估计：将当前检测与历史轨迹匹配，用卡尔曼滤波更新状态，输出稳定轨迹。
- 轨迹管理与输出：维护轨迹生命周期，输出给预测、规划与控制模块。
# 典型配置片段（示意）
bev:
grid_size: [200, 200] # BEV栅格 200x200
resolution: 0.1 # 每格 0.1m
history_frames: 4 # 历史帧数
fusion: temporal_attention # 时序融合方式
tracker:
motion_model: CTRV # 运动模型
association: hungarian # 关联算法
max_age: 3 # 最大丢失帧数
min_hits: 3 # 确认所需命中数
三、案例/场景：城市路口与高速匝道
在城市路口场景中，行人、两轮车与车辆频繁遮挡，单帧检测容易出现漏检与ID跳变。BEV时序融合通过历史帧累积，可以在遮挡期间维持目标BEV特征；3D跟踪则利用运动模型预测目标位置，在遮挡结束后快速恢复关联，显著降低ID Switch。在高速匝道场景中，车辆速度快、相对运动明显，BEV空间中的匀速模型更接近真实运动，配合CTRV可处理弯道转弯，轨迹更平滑。
四、误区与复盘：常见坑位
| 误区 | 表现 | 复盘与修正 |
|---|---|---|
| 忽略自车位姿补偿 | 历史BEV与当前BEV错位，融合后目标拖影 | 用IMU/轮速/SLAM位姿将历史帧变换到当前自车坐标系 |
| 关联只依赖IoU | 高速场景IoU低，频繁ID Switch | 引入中心距离、马氏距离与外观特征，设置自适应门限 |
| 轨迹管理过于激进 | 目标短暂遮挡即删除，ID断裂 | 设置max_age与min_hits，丢失轨迹保留若干帧再删除 |
| 时序融合与检测解耦 | 融合特征未参与检测头训练，收益有限 | 端到端训练，让检测损失反传到时序融合模块 |
五、学习目标与课程框架
通过本课程，你将掌握：BEV空间构建与多传感器对齐方法；时序融合的主流网络结构与训练策略；3D跟踪的数据关联、运动模型与轨迹管理；以及从数据标注、训练、部署到评测的完整工程链路。课程共30章，从定义与全景出发，逐步深入到BEV特征提取、时序融合、3D检测、跟踪算法、工程优化与实战复盘，最终形成可落地的BEV时序融合与3D跟踪系统能力。
- 基础篇：BEV表示、坐标系、传感器标定与时间同步。
- 融合篇：时序注意力、3D卷积、BEV查询与记忆队列。
- 跟踪篇：数据关联、卡尔曼滤波、CTRV、轨迹生命周期管理。
- 工程篇：训练技巧、部署优化、评测指标与排障复盘。
当你完成本课程后，应能独立设计一条从多传感器输入到稳定3D轨迹输出的BEV时序融合与跟踪链路，并具备定位精度问题、ID跳变问题与延迟瓶颈的工程能力。