1. 课程导入
在智能网联汽车与智慧道路的建设中，路侧感知是让道路本身具备“看见”和“理解”能力的关键环节。它通过部署在路口、匝道、隧道口、桥梁等位置的传感器，对交通参与者、道路环境与事件进行持续观测，并把结构化结果提供给车端、云端或交通管理平台。与单车感知相比，路侧感知拥有更稳定的视角、更广的覆盖范围和更丰富的全局信息，是解决盲区、超视距和协同决策问题的重要基础设施。
本课程聚焦路侧雷达与相机融合感知。雷达擅长测距、测速，具备全天候工作能力；相机擅长识别类别、颜色、纹理和交通标志。两者融合后，可以在空间、时间、目标身份三个层面形成互补，显著提升检测率、定位精度和跟踪稳定性。下面这张图展示了路侧感知系统的整体知识框架与学习路径。
一、核心原理：为什么必须融合
单一传感器在路侧场景中存在明显短板。毫米波雷达对金属目标敏感，但角分辨率有限，容易把相邻车辆或护栏误判为同一目标；相机在夜间、逆光、雨雾条件下识别率下降，且单目测距误差较大。融合的核心思想是：用雷达提供稳定的距离与速度基准，用相机提供准确的类别与语义信息，再通过空间对齐和时间同步，把两类观测映射到同一坐标系与同一时刻，最终输出一致的目标列表。
从信息论角度看，融合不是简单叠加，而是对多源观测进行置信度加权与冲突消解。当雷达与相机对同一目标的位置估计不一致时，系统需要根据标定精度、历史跟踪质量和环境条件动态调整权重。这也是本课程后续重点讲解的内容。
二、方法流程：从原始数据到融合目标
一个典型的路侧雷达相机融合流程可以概括为以下步骤：
- 数据采集：雷达输出点云或目标列表，相机输出图像帧，记录各自时间戳。
- 时间同步：以雷达帧或相机帧为基准，对另一路数据进行插值或最近邻匹配。
- 空间标定：通过内参和外参，把雷达点投影到图像像素坐标，或把图像检测框反投影到雷达坐标系。
- 目标关联：构造代价矩阵，常用马氏距离、IoU、外观特征等度量，再用匈牙利算法求解最优匹配。
- 状态融合：对关联上的目标进行位置、速度、类别的加权融合；对未关联目标保留单传感器结果并标记置信度。
- 跟踪与输出：通过卡尔曼滤波或扩展卡尔曼滤波维持目标 ID，输出结构化感知结果。
关键参数示例：雷达外参通常包含平移向量 (x, y, z) 和旋转角 (roll, pitch, yaw)；相机内参包含焦距 fx、fy 和主点 cx、cy。标定误差每增加 0.5°，在 100 米处的投影偏差可能超过 0.8 米，直接影响关联成功率。
三、案例场景：城市路口盲区预警
假设某城市路口部署了一台 77GHz 毫米波雷达和一台 800 万像素相机，用于检测被大型车辆遮挡的横穿行人。雷达首先在 60 米处发现一个低速移动目标，但无法判断是行人还是非机动车；相机由于遮挡，在图像中只能看到部分腿部区域。融合模块将雷达目标投影到图像平面，在预测区域内进行局部检测，确认类别为行人，并输出其位置与速度。系统随后通过路侧单元向接近车辆发送预警，避免碰撞。
这个案例说明：融合的价值不仅在于“看得更准”，更在于在单传感器失效或降级的场景下，仍能维持可用的感知能力。这也是路侧感知工程中必须考虑冗余与降级策略的原因。
四、常见误区与复盘
| 误区 | 表现 | 正确做法 |
|---|---|---|
| 先融合再标定 | 投影偏差大，关联失败率高 | 先完成高精度标定与同步，再进入融合 |
| 忽略时间戳 | 高速目标出现“拖影”或错位 | 统一时钟源，必要时做运动补偿 |
| 只做后融合 | 丢失原始点云与图像细节 | 根据场景选择前融合、后融合或混合融合 |
| 用单一阈值关联 | 密集场景下误关联或漏关联 | 引入自适应门限与多特征代价矩阵 |
学习建议：本课程后续章节将围绕“标定—同步—关联—融合—跟踪—评测”这条主线展开。建议在每章结束后，用真实路侧数据复现一次流程，并记录关联成功率、定位误差和时延三项指标，形成自己的工程基线。
路侧雷达相机融合感知是一门典型的交叉工程学科，既需要理解传感器物理特性，也需要掌握坐标变换、数据关联和状态估计方法。通过本课程的学习，你将能够独立完成从传感器选型、标定部署到融合算法实现与场景验证的完整链路，为智慧道路与车路协同系统提供可靠的感知底座。