3. 传感器配置与标定
NVIDIA DRIVE 平台上的感知系统不是“把传感器插上就能用”，而是围绕三类互补传感器建立一条从物理接入到统一时空坐标的完整链路。摄像头提供稠密纹理与语义，激光雷达提供高精度三维几何，毫米波雷达提供远距、全天候的速度与距离测量。三者的接入方式、标定流程和同步机制各不相同，但最终必须收敛到同一个车辆坐标系与同一时间基准上，否则融合结果会出现目标“重影”、位置漂移或速度估计错误。
一、三类传感器的接入方式
在 DRIVE 平台上，摄像头通常通过 GMSL 或 CSI-2 串行链路接入，经解串器进入 SoC 的 ISP 与图像处理管线。接入时需要确认分辨率、帧率、触发模式（自由运行或外部触发）以及曝光控制方式。工程上常把摄像头设为外部触发从模式，由同一触发源驱动，从源头减少帧起始时刻的抖动。
激光雷达一般通过以太网接入，以 UDP 包形式输出点云与时间戳。接入时要确认数据包格式、旋转角与距离解码方式、每帧点云的回波时间戳字段，以及是否支持 PTP（IEEE 1588）硬件时间同步。若雷达支持 PTP 从时钟，应让它与车载主时钟对齐，而不是仅依赖接收时刻打时间戳。
毫米波雷达多通过 CAN/CAN-FD 或以太网输出目标列表与原始检测。接入时需明确报文周期、目标坐标系定义（雷达自身坐标系，通常 x 向前、y 向左、z 向上）、速度符号约定（接近为负还是为正），以及是否存在多雷达级联。这些约定必须在后续标定与融合中保持一致。
二、内参与外参标定
内参标定解决“像素如何映射到相机坐标系”。以摄像头为例，使用棋盘格或圆点靶标，在多个位姿下采集图像，提取角点后求解焦距、主点、畸变系数。教学示例中，一个 1920×1080 相机标定后可能得到 fx≈1260、fy≈1258、cx≈958、cy≈542，径向畸变 k1≈-0.28、k2≈0.09。判断标定质量看重投影误差，通常要求平均误差小于 0.3 像素，且各视场区域误差分布均匀；若边缘误差明显偏大，说明畸变模型或采集位姿覆盖不足。
外参标定解决“各传感器相对车辆坐标系的位置与姿态”。摄像头外参给出相机到车体的旋转与平移；激光雷达外参给出雷达到车体；毫米波雷达外参给出雷达安装位置与朝向。常用方法包括：用已知尺寸靶标同时被多传感器观测，通过对应点求解刚体变换；或在自然场景中利用标定板、地面特征、车道线进行联合优化。外参的平移量单位统一为米，旋转用四元数或旋转矩阵表示，欧拉角需明确旋转顺序（如 Z-Y-X）。
三、多传感器时空同步
时间同步分两步：先统一时钟，再对齐采样时刻。统一时钟可用 PTP 让激光雷达、摄像头触发器和计算平台共享同一主时钟；若传感器不支持 PTP，则用 PPS 加串口时间报文，或由平台在接收时打时间戳并估计固定延迟。对齐采样时刻则通过时间戳插值实现：例如把 10 Hz 激光雷达帧与 30 Hz 摄像头帧统一到同一参考时刻，对运动目标用 IMU 或轮速做运动补偿，避免因时间偏差造成的位置错位。
空间同步依赖外参把各传感器坐标变换到车辆坐标系。设某点在雷达坐标系为 p_L，雷达到车体的变换为 T_VL，则 p_V = T_VL · p_L；相机观测经内参反投影与相机外参 T_VC 后同样落到车辆坐标系。只有时间戳对齐且外参一致，同一目标在不同传感器中的投影才会重合。
四、标定与同步的验证方法
验证外参是否准确，最直接的方法是投影一致性检查：把激光雷达点云按外参投影到图像上，观察地面、杆状物、车辆边缘是否与图像对齐。若点云整体偏移，说明平移量有误；若近处对齐、远处发散，说明旋转角存在偏差。毫米波雷达与激光雷达的验证可用同一静止目标：比较两者给出的距离与方位角，偏差应在雷达角分辨率与标定误差允许范围内。
时间同步的验证可用运动目标或已知速度的车辆：若时间戳偏差 Δt，目标在图像与点云中的位置会出现 v·Δt 的错位。教学示例中，若目标相对速度 15 m/s、时间偏差 20 ms，则位置错位约 0.3 m，足以造成融合关联失败。因此，量产系统通常把时间同步误差控制在毫秒级以内。
五、工程落地要点
- 接入阶段先固定触发与时间戳来源，再谈标定，否则后续同步无法收敛。
- 内参标定要覆盖整个视场，避免只在中心区域采集靶标。
- 外参标定后保存为版本化配置文件，记录车辆 VIN、传感器序列号与标定日期。
- 在线运行中监控外参残差与时间偏差，超阈值时触发重新标定或降级策略。
- 所有坐标系定义、旋转顺序、速度符号必须在文档与代码中统一，避免“同一数据两种解释”。
只有把接入、标定、同步三件事作为一个整体来设计和验证，DRIVE 平台上的多传感器融合才能稳定输出可信的环境模型。