4. 时序融合动机

在自动驾驶与机器人感知系统中，单帧感知模型虽然能够完成目标检测、语义分割与占据预测，但它本质上是在一个瞬时快照上做判断。真实世界却是连续演化的：车辆在移动、行人被遮挡后重新出现、路口的通行状态随时间切换。若只依赖单帧，模型无法区分“静止的障碍物”与“刚刚驶离的车辆留下的空位”，也无法判断一个被遮挡区域是否即将有目标出现。这正是时序融合被引入的根本动机。

一、单帧感知的三大局限

单帧感知的局限可以归纳为三个层面。第一是信息不完整：受遮挡、截断、传感器视场角限制，单帧中大量区域没有有效观测，模型只能依赖先验猜测。第二是歧义不可消解：同一帧图像或点云可能对应多种物理状态，例如一个模糊的轮廓既可能是静止的广告牌，也可能是缓慢移动的行人，单帧无法给出确定答案。第三是缺乏运动证据：速度、加速度、朝向变化等动态属性必须通过跨帧比较才能估计，单帧只能给出位置，无法给出运动趋势。

二、时序信息的价值：从补全到预测

时序信息带来的价值并非简单的“多几帧数据”，而是改变了问题的可解性。首先，跨帧观测可以补全遮挡区域：当目标在前一帧可见、当前帧被遮挡时，历史特征可以维持其存在性，避免漏检。其次，时序信息可以提升定位与速度估计精度：通过多帧关联，目标轨迹被平滑，速度估计的方差显著降低。再次，时序信息支持动态场景理解：区分静态背景与动态目标，识别他车意图、行人过街倾向等高层语义。最后，长时序建模使行为预测与场景演化成为可能，为规划控制提供更长的决策窗口。

下面的信号链图展示了从单帧观测到长时序建模的完整信息流，以及各阶段所解决的核心问题。

三、动态场景理解与长时序建模需求

动态场景理解要求模型不仅识别“有什么”，还要理解“正在发生什么”。例如在城市路口，一辆车在停止线前减速，可能是让行，也可能是准备右转；只有结合过去数秒的轨迹与信号灯状态，才能做出更可靠的判断。长时序建模则进一步要求模型在较长时间窗口内保持记忆，处理目标消失后重现、场景拓扑变化、光照与天气渐变等问题。

从工程角度看，长时序建模面临一组相互制约的需求，下表给出了典型需求与对应挑战的对照。

四、案例：遮挡路口的时序补全

考虑一个典型场景：自车接近路口，右侧有一辆大型货车遮挡了部分视野。单帧感知在货车后方区域只能输出“未知”。若引入时序融合，在前几帧中，一辆小轿车曾从货车前方驶入遮挡区，系统可以依据其历史轨迹与速度，推断该车仍在遮挡区后方继续行驶，从而在占据栅格中维持其存在，而不是将其抹去。当该车重新出现在视野中时，时序关联还能保持其 ID 一致，避免重复计数。

# 时序融合伪代码示意
for t in range(T):
    feat_t = backbone(frame[t])              # 单帧特征
    feat_t = ego_motion_align(feat_t, pose[t])  # 自车运动补偿
    if t == 0:
        memory = init_memory(feat_t)
    else:
        memory = fuse(memory, feat_t, mask=valid[t])  # 记忆更新
    occ_t = occupancy_head(memory)           # 时序增强占据预测
    track_t = associate(track_t-1, detections_t)  # 帧间关联

五、常见误区与复盘

• 误区一：帧数越多越好。过长的历史窗口会引入陈旧信息与漂移误差，尤其在自车快速运动时，旧特征与当前坐标系错位严重。
• 误区二：只做特征拼接。简单通道拼接无法建模时间顺序与重要性，容易让模型退化为“多帧平均”。
• 误区三：忽视自车运动补偿。若不对齐自车位姿，静止目标在特征空间中也会“移动”，导致融合失效。
• 误区四：用单帧指标评估时序模型。时序融合的收益常体现在遮挡补全、速度估计与长时一致性上，需设计针对性评测。

复盘来看，时序融合的动机可以概括为一句话：单帧感知给出的是“可能是什么”，而时序融合给出的是“在时间约束下最可能是什么”。它通过帧间关联、运动补偿与记忆机制，把不完整、有歧义的观测转化为连续、可预测的场景理解，并为长时序建模与下游规划决策提供基础。