1. 课程导入

在自动驾驶感知系统中，Occupancy（占据栅格）网络把三维空间离散为体素或栅格，并预测每个单元是否被占据、被什么语义类别占据。单帧Occupancy输出虽然能给出瞬时空间结构，却难以应对遮挡、稀疏观测、运动模糊和传感器噪声。本课程关注的正是如何把多帧时序信息融合起来，并在被遮挡或观测缺失的区域完成场景补全，使感知结果从"看得见的片段"走向"连续、完整、可推理的三维场景"。

学习目标

• 理解Occupancy表示、时序融合与场景补全三者的关系与工程边界。
• 掌握BEV/体素空间中的特征对齐、运动补偿与多帧聚合方法。
• 能够设计并实现一个可训练的时序Occupancy融合与补全流水线。
• 学会用IoU、mIoU、补全区域精度、时序一致性等指标评估系统。
• 具备定位时序错位、鬼影、拖影、补全幻觉等典型问题的排障能力。

核心概念

Occupancy表示通常以体素栅格 O ∈ {0,1}^{X×Y×Z} 或语义占据 O ∈ R^{C×X×Y×Z} 描述空间。时序融合的核心是：把历史帧特征通过自车运动与目标运动对齐到当前帧坐标系，再按可见性、置信度或注意力权重聚合。场景补全则是在当前帧观测不到的区域，利用历史证据、几何先验和语义上下文推断合理的占据状态。

整体框架

本课程采用"输入—对齐—融合—补全—输出—评估"的六段式框架。输入包括多相机图像、LiDAR点云、自车位姿与时间戳；对齐模块完成帧间坐标统一；融合模块在BEV或体素空间聚合时序特征；补全模块对遮挡与稀疏区域进行推断；输出模块生成语义Occupancy与不确定性；评估模块从精度、一致性、实时性三个维度闭环验证。

典型应用场景

时序融合与场景补全在多个自动驾驶任务中直接决定系统上限。城市NOA中，路口被大车遮挡的行人需要靠历史帧补全；高速场景中，远距离稀疏点云需要多帧累积才能形成稳定占据；泊车场景中，近距离遮挡与动态障碍交织，补全结果直接影响路径规划的安全边界。此外，在仿真数据生成、离线标注预标注、机器人导航等领域，该技术同样具有通用价值。

方法流程与最小示例

工程实现上，建议先跑通一个最小闭环：读取连续帧、估计位姿、对齐特征、融合、补全、评估。下面给出一个伪代码骨架，便于建立整体认知。

for t in range(1, T):
    feat_t = backbone(images[t], lidar[t])
    for k in range(1, K+1):
        T_align = pose[t-k] @ inv(pose[t])
        feat_hist = warp(feat_memory[t-k], T_align)
        weight = confidence(feat_hist, visibility[t-k])
        feat_fused += weight * feat_hist
    occ_t = fusion_head(feat_fused, feat_t)
    occ_completed = completion_head(occ_t, mask=occlusion_mask)
    loss = ce_loss(occ_completed, gt) + lambda * temporal_consistency(occ_completed, occ_memory)
    update_memory(occ_completed)

常见误区与复盘

• 误区一：把时序融合等同于简单堆叠。不做运动补偿的多帧拼接会产生鬼影和拖影，必须显式对齐。
• 误区二：补全区域越大越好。过度补全可能生成不存在的障碍物，导致规划保守或误刹，需引入不确定性约束。
• 误区三：只看单帧指标。Occupancy的时序一致性、抖动率和延迟同样关键，需纳入评估闭环。
• 误区四：忽略时间戳同步。相机、LiDAR、位姿的时间偏差会直接破坏对齐，工程上必须做硬同步或插值补偿。