4. 传感器时空对齐基础
目标级融合的输入不是“点云”或“像素”，而是各传感器已经检测出的目标列表：毫米波雷达给出距离、径向速度、方位角，摄像头给出像素框与类别，激光雷达给出三维框与朝向。每个目标都带着自己的时间戳和坐标系。如果这些信息在时间和空间上没有对齐，融合层会把同一辆车当成两辆车，或者把相邻车道的车错误关联到本车道。因此，时空对齐是目标级融合的前置条件，而不是可选的预处理。
时间同步：把不同时刻的观测拉到同一基准
时间同步要解决两个问题：时钟基准一致和采样时刻一致。工程上通常以整车以太网或CAN上的全局时间作为基准，各传感器通过PTP（IEEE 1588）或gPTP同步到同一时钟域，同步误差目标一般控制在1 ms以内；对于摄像头这类以帧为单位输出的传感器，还需记录每帧的曝光起始时刻和读出时刻。
假设雷达周期为50 ms，摄像头周期为33.3 ms，激光雷达周期为100 ms。在t=1000 ms时刻，雷达最近一帧时间戳为980 ms，摄像头为967 ms，激光雷达为950 ms。若直接把这三种观测送入融合，它们描述的是不同时刻的场景。常见做法是选定一个融合参考时刻t_f，把各传感器观测外推到t_f。外推需要目标运动模型，最简单的匀速模型为：
p(t_f) = p(t_s) + v · (t_f - t_s)
θ(t_f) = θ(t_s) + ω · (t_f - t_s)其中t_s为观测时间戳，v为估计速度，ω为偏航角速度。外推时间差越大，误差越大。因此融合参考时刻通常选在最近一帧雷达或摄像头的时间戳附近，而不是任意时刻。
采样延迟补偿：时间戳不等于数据可用时刻
传感器从物理量被感知到数据被融合模块收到，中间存在曝光、积分、内部处理、传输、驱动排队等延迟。摄像头曝光延迟可能为10~30 ms，雷达信号处理延迟约5~15 ms，激光雷达点云组装延迟约20~50 ms。如果只用“数据到达时刻”做时间戳，外推方向就会错。
正确做法是记录“感知时刻”作为时间戳，并在融合模块中维护每个传感器的固定延迟估计。例如摄像头曝光时刻为t_exp，数据到达时刻为t_arr，则延迟d=t_arr−t_exp。融合时用t_exp作为观测时间，而不是t_arr。对于延迟抖动，可以用滑动窗口统计均值和方差，当方差超过阈值时触发标定或降级。
运动补偿：自车运动与被测目标运动要分开处理
外推时容易混淆两种运动：自车运动和目标自身运动。雷达测得的径向速度是目标相对自车的速度，包含自车速度分量。若自车以20 m/s前进，前方静止车辆在雷达中的径向速度约为−20 m/s。如果直接用这个速度做外推，会把静止目标错误地“推”到远处。
因此运动补偿分两步：先用自车运动信息（车速、横摆角速度、方向盘转角）把观测从传感器坐标系变换到自车坐标系，并补偿自车运动带来的位移和旋转；再在自车坐标系下用目标相对运动做短时外推。自车运动补偿常用车辆运动学模型：
x_ego(t_f) = x_ego(t_s) + v_ego·Δt
ψ(t_f) = ψ(t_s) + ω_ego·Δt其中ψ为自车航向角。补偿后，静止目标在自车坐标系中的位置变化只由自车运动引起，外推时不再叠加错误速度。
空间坐标变换：从传感器坐标系到统一融合坐标系
每个传感器有自己的坐标系：摄像头以光心为原点，x向右、y向下、z向前；雷达以天线面中心为原点，通常x向前、y向左、z向上；激光雷达以旋转中心为原点。目标级融合需要统一到自车坐标系，通常定义为后轴中心或车辆几何中心，x向前、y向左、z向上。
变换由外参决定：旋转矩阵R和平移向量t。对雷达目标点p_radar，变换到自车坐标系为：
p_ego = R_radar_to_ego · p_radar + t_radar_to_ego摄像头目标通常先由像素坐标和深度估计得到相机坐标系下的三维点，再经R、t变换到自车坐标系。激光雷达同理。变换后还要检查目标朝向：雷达给出的是方位角，摄像头给出的是像素框中心，激光雷达给出的是三维框朝向，三者对“目标朝向”的定义可能不同，需要在融合前统一到同一角度约定。
外参标定与在线校正：误差如何影响目标级融合
外参标定给出传感器之间的R和t。离线标定通常在标定场完成，用靶标或已知几何特征求解。但车辆行驶中的振动、温度变化、轻微碰撞、悬架高度变化都会让外参发生漂移。外参误差对目标级融合的影响可以定量估计：若雷达与摄像头之间的横向外参误差为0.2°，在50 m处产生的横向位置偏差约为50×tan(0.2°)≈0.17 m；若纵向时间同步误差为20 ms，自车速度20 m/s时纵向位置偏差约0.4 m。这两个偏差叠加，足以让同一目标在雷达和摄像头中的关联距离超过关联门限。
在线校正的思路是利用自然场景中的稳定特征做残差监测。例如，把雷达检测到的静止目标投影到摄像头图像上，若投影点与图像检测框中心的像素残差持续偏大，说明外参或时间同步存在漂移。工程上常用以下判据：
| 监测项 | 正常范围（示例） | 超限处理 |
|---|---|---|
| 雷达-摄像头横向残差 | < 0.15 m @ 50 m | 触发外参在线估计 |
| 时间同步残差 | < 5 ms | 检查PTP状态，重新同步 |
| 静止目标速度残差 | < 0.5 m/s | 检查自车运动补偿 |
| 外参估计置信度 | > 0.8 | 低于阈值则降级融合 |
在线校正不是每帧都做，而是以较低频率（如每10 s或每1 km）在满足激励条件时执行：车辆直行、车速稳定、前方有足够静止目标。校正结果需要限幅和平滑，避免单次估计跳变导致融合输出抖动。
工程检查要点
- 每个传感器是否记录了物理感知时刻，而不是数据到达时刻？
- 融合参考时刻是否选在主要传感器时间戳附近，外推时间差是否受控？
- 自车运动补偿是否使用了正确的车辆运动学模型和坐标系定义？
- 外参是否包含旋转和平移，角度约定是否与融合层一致？
- 在线校正是否有明确的残差监测指标、触发条件和降级策略？
把上述链路打通后，目标级融合拿到的才是同一时刻、同一坐标系下、经过运动补偿的目标列表。后续的关联、滤波和航迹管理才有稳定的输入基础。