2. 基础知识

BEV时序融合与3D跟踪并不是单一算法，而是一套围绕“空间表示—坐标统一—时间关联”构建的工程体系。理解这一体系，需要先掌握五个基础概念：BEV表示、相机模型、点云基础、坐标系变换、时序数据与3D跟踪术语。它们分别回答“在哪里看”“如何投影”“如何测距”“如何对齐”“如何关联”的问题。

一、BEV表示：把三维世界压到俯视网格

BEV（Bird's Eye View）即鸟瞰图，通常把自车周围一定范围内的空间离散化为俯视网格。每个网格单元可以承载多种特征：占据概率、高度统计、速度、语义类别、特征向量等。BEV表示的核心价值在于统一多传感器视角：相机看到的是透视图像，激光雷达看到的是稀疏点云，而BEV把二者映射到同一俯视平面，便于融合与下游检测、跟踪。

常见BEV网格参数包括：范围（如X向前[-50m, 50m]，Y横向[-50m, 50m]）、分辨率（如0.1m、0.2m、0.5m）、高度分层（如[-5m, 3m]分8层）。分辨率越高，小目标越清晰，但显存与计算量也越大。工程中常采用“近处高分辨率、远处低分辨率”的非均匀网格，或使用多尺度BEV特征。

二、相机模型与点云基础：从像素到三维

相机模型描述三维点如何投影到二维像素。最常用的是针孔模型：

u = fx * X/Z + cx
v = fy * Y/Z + cy

其中 (X,Y,Z) 是相机坐标系下的三维点，(u,v) 是像素坐标，fx、fy 是焦距，cx、cy 是主点。实际相机还存在畸变，需先做去畸变再投影。相机模型是BEV投影、图像特征采样、多相机拼接的基础。

点云基础则关注激光雷达输出的三维点集合。每个点通常包含 (x,y,z,intensity) 以及时间戳。点云具有稀疏、无序、密度随距离衰减的特点。常用处理包括：体素化、地面分割、聚类、法向量估计。点云为BEV提供精确的深度与高度信息，弥补相机缺乏绝对尺度的不足。

三、坐标系变换：所有融合的前提

一辆车上通常存在多个坐标系：世界坐标系、自车坐标系、相机坐标系、激光雷达坐标系、BEV网格坐标系。坐标系变换通过旋转矩阵 R 和平移向量 t 完成：

P_target = R * P_source + t

工程中常用齐次变换矩阵 T（4×4）串联多个变换。例如，把激光雷达点投影到相机图像，需要经过：激光雷达→自车→相机→像素。每一步都依赖标定参数。标定误差会直接导致BEV错位、跟踪漂移。因此，坐标系变换不仅是数学公式，更是工程精度的生命线。

四、时序数据与3D跟踪基本术语

时序数据指按时间顺序排列的传感器帧序列。BEV时序融合的关键是“跨帧对齐”：由于自车在运动，上一帧的BEV网格不能直接叠加到当前帧，必须用自车运动补偿（Ego Motion Compensation）把历史BEV变换到当前自车坐标系。常用方法包括：基于IMU/轮速的位姿积分、基于点云配准的ICP、基于视觉里程计的位姿估计。

3D跟踪的基本术语包括：

• 轨迹（Track）：同一目标在连续帧中的状态序列，通常包含位置、速度、尺寸、航向角、类别、ID。
• 数据关联（Data Association）：把当前帧检测框与历史轨迹匹配，常用匈牙利算法、贪心匹配、IoU/中心距离代价矩阵。
• 状态估计（State Estimation）：用卡尔曼滤波、扩展卡尔曼滤波或粒子滤波平滑目标状态，预测下一帧位置。
• 航向角（Yaw）：目标朝向，对预测运动方向至关重要；BEV中常用sin/cos编码避免角度跳变。
• ID Switch：目标ID错误切换，是跟踪评测的核心指标之一，常由遮挡、关联错误、BEV错位引起。
• MOTA / AMOTA：多目标跟踪评测指标，综合误检、漏检、ID切换。

五、案例与复盘：一个BEV错位的排查过程

某项目在BEV时序融合后发现跟踪ID频繁切换。排查发现：相机与激光雷达的硬触发存在约30ms延迟，自车在30ms内移动约0.5m，导致历史BEV与当前BEV错位。修复方式是统一时间戳到同一采样时刻，并对历史BEV做运动补偿。修复后ID Switch下降约40%。