1. 课程导入

自动驾驶系统每天面对的是摄像头图像、激光雷达点云、毫米波雷达回波、IMU 惯性测量、GNSS 定位、高精地图以及车路协同消息等异构数据。单一模态往往只能描述环境的一个侧面：摄像头语义丰富但缺乏精确深度，激光雷达几何精确但纹理稀疏，毫米波雷达对雨雾鲁棒但分辨率有限。多模态表示学习的目标，就是把这些来源不同、结构不同、采样频率不同的信号，映射到一个可对齐、可融合、可推理的统一特征空间中，让下游的检测、跟踪、预测、规划模块获得更稳定、更完整的环境理解。

一、核心原理：从“多传感器拼接”到“统一表示”

多模态表示学习并不是简单地把多路数据堆叠输入网络。它要解决三个本质问题：模态异质性、空间与时间对齐、信息冗余与互补的权衡。摄像头是稠密二维网格，激光雷达是稀疏三维点集，雷达是带多普勒的稀疏回波，它们的数据维度、坐标系、噪声分布完全不同。表示学习要做的，是让不同模态在特征层面“说同一种语言”。

典型技术路线包括：早期融合（数据级拼接）、中期融合（特征级对齐与交互）、晚期融合（决策级投票）。当前工程主流是中期融合，配合 BEV（Bird's Eye View）统一空间表达。其基本流程可概括为：

1. 单模态编码：图像用 CNN/ViT，点云用 PointNet/Pillar/体素网络，雷达用点云或距离-多普勒编码。
2. 坐标统一：通过标定外参将各模态投影到自车坐标系或 BEV 网格。
3. 特征对齐：用注意力、对比学习或可变形卷积实现跨模态特征匹配。
4. 融合交互：在 BEV 或 Query 空间进行跨模态注意力、门控或图网络融合。
5. 任务头与监督：接检测、分割、预测头，并用自监督、蒸馏、时序一致性等辅助损失增强表示。

二、发展脉络：从手工特征到基础模型

多模态表示学习在自动驾驶领域大致经历了四个阶段。第一阶段是手工特征与规则融合，如将雷达点投影到图像上做颜色-距离联合聚类，依赖人工设计特征，泛化能力弱。第二阶段是深度学习单模态突破，PointPillars、CenterPoint、BEVFormer 等让点云和图像各自形成强表示，但融合仍以简单拼接为主。第三阶段是BEV 统一表示与跨模态注意力，BEVFusion、UniAD 等把多模态统一到 BEV 或 Query 空间，显著提升检测与预测精度。第四阶段是自监督与多模态基础模型，利用大规模无标注数据做对比学习、掩码重建、跨模态蒸馏，追求可迁移、可提示、可解释的统一表示。

三、工程价值：为什么值得系统学习

在真实量产项目中，多模态表示学习的价值体现在四个层面。第一是安全冗余：摄像头被逆光致盲时，雷达和激光雷达仍能提供障碍物距离与速度，融合表示可降低漏检。第二是成本优化：通过表示学习让低线束雷达与摄像头协同达到接近高线束激光雷达的效果，减少传感器 BOM 成本。第三是数据效率：自监督预训练让模型在少量标注数据上快速适配新城市、新车型。第四是端到端潜力：统一表示是端到端自动驾驶的前提，使感知、预测、规划共享同一特征空间，减少模块间信息损失。

四、案例场景：一个典型的前融合感知链路

假设一辆 L2+ 量产车在雨夜城市道路行驶。摄像头图像受雨滴和眩光影响，激光雷达点云在雨雾中衰减，毫米波雷达仍能稳定输出目标距离与相对速度。此时多模态表示学习链路的工作方式是：图像编码器提取语义特征，点云编码器提取几何特征，雷达编码器提取运动特征；三者通过标定外参投影到统一 BEV 网格；跨模态注意力让图像语义去补全点云稀疏区域，让雷达速度去修正图像深度估计；最终 BEV 特征送入检测头输出障碍物框，并送入预测头输出轨迹。若某一路模态置信度下降，门控机制自动降低其权重，保证系统整体鲁棒。

# 典型多模态训练配置片段（示意）
modalities:
  camera:   {encoder: "ViT-B", input: "6V", bev_h: 200, bev_w: 200}
  lidar:    {encoder: "PillarNet", voxel: [0.1, 0.1, 0.2]}
  radar:    {encoder: "RadarPointNet", doppler: true}
fusion:
  type: "BEVCrossAttention"
  align: "calib_extrinsic"
  gate: "confidence_weighted"
loss:
  det: "FocalLoss + L1"
  align: "ContrastiveLoss"
  temporal: "ConsistencyLoss"

五、常见误区与复盘

• 误区一：融合越早越好。数据级拼接对时空同步和标定误差极其敏感，工程上往往不如中期特征融合稳定。
• 误区二：只追求精度指标。车端部署必须同时看时延、内存、功耗和失效模式，离线 mAP 高不代表可量产。
• 误区三：忽视标定与时间同步。多模态表示学习的效果上限，很大程度由传感器标定精度和硬同步质量决定。
• 误区四：把自监督当万能药。自监督预训练需要大规模、多样化的数据，且下游微调策略同样关键。

六、学习目标与整体课程框架

通过本课程，你将能够：理解多模态表示学习的数学定义与工程约束；掌握图像、点云、雷达、位姿的编码与对齐方法；能够设计 BEV 与 Query 空间的融合网络；能够使用自监督、蒸馏和时序一致性提升表示质量；能够完成车端部署、性能分析与失效复盘。课程整体分为六个模块：基础与标定、单模态表示、跨模态对齐、融合架构、自监督与基础模型、工程部署与复盘。每一章都会围绕真实工程对象展开，并配有可运行的配置片段与判断路径。

现在，你已经站在多模态表示学习的入口。接下来要做的，不是记住所有网络结构，而是建立“数据—对齐—融合—任务—部署”的闭环思维。只有把表示学习放回自动驾驶工程约束中，它才真正具有价值。