1. 课程导入
在自动驾驶与智能交通系统走向规模化落地的过程中，单车智能逐渐暴露出感知距离受限、遮挡严重、超视距风险难以预判等瓶颈。车路云协同感知（Vehicle–Road–Cloud Cooperative Perception）正是在这一背景下提出的系统性解决方案：它通过车端、路侧与云端的多源传感器协同，把分散的感知能力汇聚为一张覆盖更大时空范围的动态环境认知网络。本课程聚焦其中最关键、也最具工程挑战的一环——时空融合，即如何把不同位置、不同时刻、不同坐标系下的感知数据统一到同一时空基准上，形成一致、连续、可信的环境模型。
一、核心定义：什么是车路云协同感知
车路云协同感知是指以车辆、路侧基础设施和云平台为三类感知主体，通过通信链路共享原始或目标级感知信息，并经过时空对齐、关联与融合，输出超越单一视角能力的全局环境理解。它包含三个层次的含义：
- 车端感知：摄像头、激光雷达、毫米波雷达提供高分辨率局部视野，但受遮挡与视距限制。
- 路侧感知：路杆上的相机与雷达提供“上帝视角”，可覆盖路口盲区，但覆盖范围固定。
- 云端感知：汇聚多路口、多车辆数据，进行全局融合、长时预测与模型迭代。
三者并非简单叠加，而是通过时空融合形成互补：车端补路侧的动态细节，路侧补车端的遮挡盲区，云端补两者的全局一致性。
二、发展背景：从单车智能到车路云一体化
早期自动驾驶以单车智能为主，依赖车载传感器与高算力平台。但随着场景复杂度提升，行业逐渐认识到：仅靠单车无法解决“鬼探头”、大车遮挡、超视距事故等长尾问题。与此同时，5G/V2X通信、边缘计算、路侧感知设备的成熟，使车路协同从概念走向工程可行。中国提出的“车路云一体化”路线，强调以路侧基础设施和云平台为支撑，降低单车成本，提升整体安全冗余。时空融合工程正是这一路线中承上启下的技术枢纽。
三、时空融合工程的目标与整体知识框架
时空融合工程的目标可归纳为四个层面：时间同步（消除时钟偏差与传输延迟）、空间对齐（统一坐标系与外参标定）、数据关联（同一目标在不同视角下的匹配）、融合输出（生成一致的目标列表与占用栅格）。围绕这四个目标，本课程构建了如下知识框架：
该框架自上而下分为感知层、融合层与输出层。感知层解决“看得见”，融合层解决“对得齐”，输出层解决“用得上”。课程后续章节将依次展开时间同步、坐标变换、外参标定、目标关联、多源融合、延迟补偿与评测等关键模块。
四、典型场景与工程案例
以城市十字路口为例：一辆车在左转时被对向大车遮挡，无法看到斑马线附近的行人。此时路侧相机从高处捕捉到行人位置，通过V2X发送给车辆，车端融合模块将路侧目标与自身感知结果在统一坐标系下关联，提前触发制动。这一过程涉及时间戳对齐、坐标变换、目标匹配与置信度融合，是时空融合工程的典型闭环。
| 融合环节 | 关键问题 | 典型方法 | 工程指标 |
|---|---|---|---|
| 时间同步 | 时钟偏差、传输延迟 | PTP、GPS授时、延迟补偿 | 同步误差 < 10ms |
| 空间对齐 | 坐标系不一致、外参漂移 | 标定、坐标变换、在线校准 | 位置误差 < 0.3m |
| 数据关联 | 同一目标多视角匹配 | 匈牙利算法、马氏距离 | 关联准确率 > 95% |
| 融合输出 | 置信度冲突、冗余 | 卡尔曼滤波、贝叶斯融合 | 漏检率 < 5% |
五、常见误区与复盘
误区二：忽视时间戳精度。毫秒级偏差在高速场景下可导致米级位置误差。
误区三：只做目标级融合而忽略原始数据融合的潜力，导致弱目标丢失。
复盘工程实践可以发现：时空融合的失败往往不在算法本身，而在标定、授时、坐标系定义等基础环节。因此本课程强调“先对齐、再融合、后优化”的工程顺序，避免在未对齐的数据上堆叠复杂模型。