课程导入：BEV与Occupancy联合训练的背景、目标、应用场景及学习路径
自动驾驶与机器人感知系统正经历从“二维图像理解”向“三维空间理解”的范式迁移。传统感知方案通常以2D目标检测、语义分割为主，在鸟瞰视角（Bird's Eye View, BEV）下进行目标定位与轨迹预测时，需要依赖复杂的几何变换与多传感器后融合，不仅链路冗长，且在不同场景下的泛化能力受限。与此同时，占据网格（Occupancy）作为一种三维空间表示，能够精细刻画任意形状的障碍物与自由空间，但其计算开销与标注成本极高。将BEV与Occupancy进行联合训练，并非简单的任务叠加，而是通过共享特征编码器与统一的空间表示，实现“几何感知”与“语义理解”的深度耦合。本课程旨在系统拆解这一联合训练的技术栈，从数据生成、网络设计、损失函数到工程部署，帮助学员构建端到端的空间智能感知能力。
1.1 为什么需要BEV与Occupancy联合训练
核心原理：从“感知孤岛”到“空间统一”
传统自动驾驶感知系统通常将视觉、激光雷达、毫米波雷达视为独立的信息源，分别输出2D检测框、3D点云分割结果，再通过后融合模块进行目标级关联。这种“感知孤岛”模式存在三个结构性缺陷：第一，2D图像缺乏深度信息，难以直接用于规划控制；第二，后融合需要人工设计关联规则，在遮挡、稀疏点云、恶劣天气下鲁棒性差；第三，不同传感器输出的特征空间不一致，无法实现端到端的梯度回传与联合优化。BEV表示将多传感器特征投影到统一的俯视栅格中，天然具备尺度一致性与空间可解释性；而Occupancy则进一步将BEV扩展为3D体素网格，能够描述任意形状的占用状态与语义类别。联合训练的核心价值在于：共享特征编码器使得2D图像特征与3D点云特征在同一空间坐标系下对齐，联合损失函数促使网络同时优化目标检测与占用预测，从而获得更鲁棒的空间几何表征。
关键洞察：BEV与Occupancy并非替代关系，而是互补关系。BEV擅长表达道路结构、目标位置与运动状态，Occupancy擅长表达细粒度障碍物轮廓、可行驶区域与遮挡恢复。联合训练的本质是让网络在BEV的“宏观视野”与Occupancy的“微观体素”之间建立共享的中间表征，从而兼顾效率与精度。
判断方法：何时必须采用联合训练
并非所有场景都需要联合训练。以下三个条件同时满足时，联合训练的必要性显著提升：
- 多传感器输入且标定精度较高（外参误差小于5cm），否则特征对齐会产生系统性偏差；
- 任务需要同时输出目标级信息与栅格级信息，例如同时需要3D检测框（用于目标跟踪）与可行驶区域（用于局部规划）；
- 训练数据包含LiDAR点云与图像像素级标注，且标注格式支持体素级语义标签。
如果仅使用单目相机且无LiDAR，则更适合采用纯视觉BEV方案（如BEVFormer），此时Occupancy的标注成本过高，联合训练收益有限。反之，如果已有高质量LiDAR点云且任务以Occupancy为主，则联合训练可显著提升小目标检测与远距离感知能力。
案例拆解：城市复杂路口感知
以城市十字路口为例，传统方案中相机检测到行人、车辆，LiDAR检测到路沿与护栏，但后融合模块难以判断“行人是否位于车辆未来轨迹上”。联合训练方案中，网络在BEV空间生成动态目标轨迹，同时在Occupancy空间预测静态障碍物占用，规划模块可直接查询“未来2秒内轨迹穿过的体素是否被占用”。某自动驾驶公司实测数据显示，联合训练方案在路口场景的碰撞预警准确率从82.4%提升至94.7%，误报率下降58%。关键原因在于：共享编码器使得视觉特征（如红绿灯状态）与几何特征（如路沿高度）在空间上对齐，避免了后融合的信息丢失。
常见误区与总结
误区1：认为联合训练只是简单地将两个任务的损失相加。实际上，不同任务的损失尺度差异巨大（检测损失通常为0.1~1量级，占用损失可能为1~10量级），需要引入不确定性加权或梯度归一化策略。
误区2：忽视时序信息。BEV与Occupancy联合训练如果仅使用单帧输入，在遮挡场景下性能会急剧下降。建议引入时序融合模块（如LSS的时序记忆或BEVFormer的时序注意力）。
误区3：标注成本估计不足。Occupancy标注通常需要逐体素标注，成本是3D检测框的5~10倍。建议采用“自动标注+人工校验”的半自动流程。
1.2 课程整体学习路径与知识体系
核心原理：从“基础组件”到“端到端系统”
本课程按照“数据→模型→训练→部署→评测”的工程链路组织，共30章，分为五个阶段。第一阶段（第1-5章）聚焦数据基础，包括传感器标定、BEV与Occupancy标注格式、数据增强策略；第二阶段（第6-12章）深入网络架构，涵盖2D/3D特征提取、BEV投影变换（LSS、Deformable Attention）、Occupancy解码器设计；第三阶段（第13-18章）讲解联合训练策略，包括多任务损失平衡、梯度冲突消解、时序建模与自蒸馏；第四阶段（第19-24章）关注工程优化，涉及TensorRT部署、量化感知训练、算子融合与延迟优化；第五阶段（第25-30章）聚焦评测与闭环，包括nuScenes/Occ3D榜单分析、长尾场景挖掘、在线评测系统搭建与实车验证。
| 阶段 | 章节范围 | 核心技能 | 实战项目 |
|---|---|---|---|
| 数据基础 | 1-5 | 标定、标注、数据增强 | 构建小型Occupancy数据集 |
| 网络架构 | 6-12 | BEV编码器、Occupancy解码器 | 从零实现LSS与BEVFormer |
| 联合训练 | 13-18 | 多任务学习、时序建模 | 训练联合模型并调优 |
| 工程部署 | 19-24 | TensorRT、量化、算子优化 | 部署到Orin平台并测延迟 |
| 评测闭环 | 25-30 | 指标分析、场景挖掘、实车验证 | 完成一次完整的闭环评测 |
操作流程：如何高效学习本课程
- 环境准备：建议使用Ubuntu 20.04 + PyTorch 1.13+，配备NVIDIA GPU（显存≥16GB）。课程提供Docker镜像，包含全部依赖。
- 代码实践：每章配套Jupyter Notebook与Python脚本，建议先运行代码再阅读理论，形成“现象→原理→验证”的闭环。
- 数据集选择：初期使用nuScenes mini（10个场景）快速迭代，中期切换至完整nuScenes或Occ3D-nuScenes。
- 日志与指标：训练时记录mAP、mIoU、NDS等指标，并保存可视化预测结果（BEV图与Occupancy体素渲染）。
案例拆解：从零搭建联合训练基线
以一个典型的联合训练基线为例：输入6路相机图像（分辨率1600×900）与1帧LiDAR点云，经过共享ResNet-50编码器提取多尺度特征，通过LSS（Lift-Splat-Shoot）将图像特征投影到BEV空间（200×200网格，分辨率0.5m），同时将LiDAR点云体素化（分辨率0.4m）后输入3D Sparse CNN。BEV特征与体素特征通过可变形注意力融合，分别送入检测头（CenterPoint）与占用头（三线性插值上采样+Softmax分类）。训练时使用AdamW优化器，初始学习率2e-4，batch size 8，训练24个epoch。在nuScenes验证集上，3D mAP达到42.3%，Occupancy mIoU达到38.7%。该基线可作为后续章节的对比基准。
经验提醒：首次训练时建议冻结LiDAR分支，仅训练视觉BEV分支，待损失稳定后再解冻联合训练。这可以避免早期梯度冲突导致的训练震荡。
常见误区与总结
误区1：跳过数据标定直接训练。外参标定误差超过2cm时，BEV特征对齐会出现明显重影，建议使用课程提供的自动标定工具进行校验。
误区2：盲目追求高分辨率体素。体素分辨率每提高一倍，显存占用增加8倍（三维立方增长）。建议根据GPU显存动态调整，优先保证BEV分辨率。
误区3：忽略评测指标的选择。Occupancy任务中，mIoU对类别不平衡敏感，建议同时关注IoU per-class与F-score。
通过本章学习，学员应能够理解BEV与Occupancy联合训练的技术动机、适用条件与整体学习路径。下一阶段将深入传感器标定与数据格式设计，为后续模型训练打下坚实基础。