4. 表示学习核心概念
在自动驾驶多模态系统中，摄像头、激光雷达、毫米波雷达、IMU 与高精地图产生的数据形态差异极大：图像是稠密像素网格，点云是稀疏无序集合，CAN 总线是低频时序标量。表示学习的核心任务，就是把这些异构原始信号映射为一种可计算、可比较、可迁移的向量或张量结构，使下游的检测、跟踪、预测与规划模块能够共享同一套语义空间。本章围绕特征、嵌入、隐空间、监督与自监督、对比学习、生成式表示、解耦表示与迁移学习八个概念展开，它们并非孤立术语，而是一条从“原始观测”到“可复用知识”的工程链路。
4.1 特征、嵌入与隐空间：三个层次的对象
特征是最贴近原始数据的可度量描述，例如图像的 HOG 梯度直方图、点云的曲率与法向量、雷达的 RCS 强度统计量。特征通常由人工设计或浅层网络提取，物理意义明确，但表达能力受限于设计者的先验。嵌入则是经过学习得到的稠密向量，典型如 256 维的图像 patch token、128 维的点云 pillar 描述子。嵌入的关键性质是距离可比性：相似语义的样本在嵌入空间中距离更近。隐空间是嵌入所处的整体坐标系，它由网络参数、损失函数与数据分布共同定义，维度、范数约束和几何形状都会影响下游任务。
三者的关系可以概括为：特征是观测的局部统计，嵌入是特征的学习型压缩，隐空间是嵌入的全局几何。工程上常见的误区是把“特征维度高”等同于“表示能力强”，实际上未经归一化和判别约束的高维特征往往带来维度灾难，反而降低多模态融合的稳定性。
4.2 监督、自监督与对比学习
监督表示学习依赖人工标注，例如用 3D 框标注驱动点云骨干网络学习目标级嵌入。它的优点是语义目标明确，缺点是标注成本高、长尾场景覆盖难。自监督学习从数据自身构造监督信号，典型代理任务包括掩码重建、时序预测、跨模态对齐和实例判别。在自动驾驶中，激光雷达点云的掩码自编码、多帧点云的时间对比、图像与点云的跨模态匹配，都是高价值的自监督任务。
对比学习是自监督的主流范式：拉近正样本对、推远负样本对。其核心是正负样本构造与温度系数 τ 的调节。InfoNCE 损失可写为：
L_InfoNCE = -log( exp(sim(z_i, z_i+) / τ)
/ Σ_j exp(sim(z_i, z_j) / τ) )
其中：
z_i : 锚点嵌入
z_i+ : 正样本嵌入（同一目标的不同增强视图）
z_j : 负样本嵌入（其他目标或背景）
τ : 温度系数，通常取 0.05 ~ 0.2
sim : 余弦相似度对比学习的效果高度依赖数据增强策略。对图像可用裁剪、颜色抖动；对点云可用随机旋转、局部丢弃、体素扰动。若增强破坏了语义一致性，正样本对就会引入噪声，导致隐空间坍缩或聚类边界模糊。
4.3 生成式表示与解耦表示
生成式表示通过重建或生成过程学习隐变量，如 VAE、GAN、扩散模型和掩码自编码器。其优势是能够建模数据分布，为稀有场景生成提供支撑；在自动驾驶仿真中，生成式表示可用于合成雨雾、夜间、遮挡等长尾样本。解耦表示则追求隐空间的因子化：让不同维度分别控制内容、风格、运动、光照等独立因素。解耦良好的表示对域偏移更鲁棒，例如把“天气”与“道路结构”分离后，模型在晴天训练、雨天测试时性能下降更小。
4.4 迁移学习：表示复用的工程路径
迁移学习把在大规模数据上预训练得到的表示，迁移到标注稀缺的目标域。常见策略包括：冻结骨干只训练任务头、全量微调、逐层解冻、以及基于提示（prompt）或适配器（adapter）的参数高效微调。在自动驾驶中，从公开数据集预训练的图像/点云骨干，迁移到特定车型与传感器配置时，必须处理域偏移：传感器内参、安装角度、天气与地域差异都会改变数据分布。
| 概念 | 监督信号来源 | 典型方法 | 自动驾驶场景 | 主要风险 |
|---|---|---|---|---|
| 特征 | 人工设计 | HOG、FPFH、统计量 | 点云曲率、雷达 RCS | 表达力有限 |
| 嵌入 | 任务标签 | CNN、PointNet、Transformer | 目标级描述子 | 标注成本高 |
| 自监督 | 数据自身 | 掩码重建、时序预测 | 点云 MAE、多帧对比 | 代理任务与下游不匹配 |
| 对比学习 | 正负样本对 | InfoNCE、MoCo、SimCLR | 跨模态对齐 | 增强破坏语义 |
| 生成式表示 | 重建/生成 | VAE、GAN、扩散 | 长尾场景合成 | 生成失真 |
| 解耦表示 | 因子约束 | β-VAE、交换监督 | 天气-结构分离 | 因子不可辨识 |
| 迁移学习 | 源域预训练 | 微调、Adapter、Prompt | 跨车型跨传感器 | 负迁移 |
4.5 案例：多模态对比对齐的工程流程
以图像-点云跨模态对齐为例，一个可落地的流程如下：
- 分别用图像骨干和点云骨干提取 patch 级嵌入，并投影到统一维度 d=256。
- 利用标定矩阵与深度信息建立像素-点云对应关系，构造正样本对。
- 在同一 batch 内，非对应样本作为负样本，计算双向 InfoNCE 损失。
- 加入掩码重建辅助损失，防止嵌入只保留对齐信息而丢失几何细节。
- 在目标域上用少量标注做线性探测或轻量微调，评估迁移增益。
该流程的关键监控指标包括：正样本对相似度均值、负样本对相似度均值、嵌入范数分布、以及下游 3D 检测 mAP。若正负相似度差距持续缩小，说明温度系数过大或负样本不足，需要调整 τ 或增大 batch size。
4.6 误区与复盘
复盘时建议回答三个问题：表示是否在目标域上保持了类间可分性？跨模态嵌入是否共享了可比较的度量？迁移后模型对传感器配置变化是否敏感？只有把表示学习当作数据-损失-几何-迁移四者协同的系统工程，才能让多模态系统在真实道路上稳定获益。