2. 端到端自动驾驶基础

端到端自动驾驶系统的输入质量直接决定了模型性能的上限。与模块化方案不同，端到端模型通常直接消费原始传感器数据（或经过轻量预处理的张量），因此工程师必须深入理解三类核心传感器——相机、激光雷达、毫米波雷达——的物理特性、数据表示方式以及多传感器空间对齐的基本原理。本章将围绕“传感器特性—数据表示—坐标系与标定”这条主线展开，为后续的模型设计与集成验证奠定基础。

2.1 三类核心传感器的物理特性与选型逻辑

2.1.1 相机：稠密语义与深度缺失的矛盾

核心原理：相机通过光学镜头将三维世界投影到二维图像平面，每个像素记录场景中某一点的光强与颜色。其优势在于提供极高的空间分辨率（通常为百万级像素）和丰富的纹理/语义信息，能够识别交通标志、车道线、行人姿态等精细特征。然而，单目相机本质上丢失了深度信息——图像中一个像素点可能对应空间中任意距离的物体，这种“尺度模糊性”是端到端模型需要隐式学习补偿的关键难点。

工程判断方法：选择相机时需关注以下参数：

• 分辨率与视场角（FOV）：分辨率决定远处小目标的像素占比，FOV决定覆盖范围。典型前视相机采用800万像素、FOV 60°~120°。
• 动态范围（HDR）：隧道出入口、逆光场景要求动态范围>120dB，否则高光或暗部细节丢失。
• 帧率与卷帘快门：高速运动场景建议使用全局快门（Global Shutter）或高帧率卷帘（≥30fps），避免果冻效应。
• 光学畸变：广角镜头引入桶形畸变，需通过标定参数进行校正。

2.1.2 激光雷达：精确几何与稀疏性的权衡

核心原理：激光雷达通过发射激光脉冲并测量反射时间差（ToF）或调频连续波（FMCW）来获取目标点的三维坐标。其输出是稀疏的点云，每个点包含(x, y, z)坐标和反射强度（intensity）。激光雷达的测距精度可达厘米级，且不受光照影响，是构建高精度三维空间感知的核心传感器。但点云在远距离处密度急剧下降（例如128线雷达在100m处垂直角分辨率约0.2°，水平约0.1°，导致每平方米仅约几个点），且无法感知颜色和纹理。

数据表示与处理：点云通常以N×4的浮点数组表示（x, y, z, intensity），在端到端模型中常被体素化（Voxelization）为3D网格或投影为BEV（鸟瞰图）2D张量。体素化时需选择合适的分辨率（如0.1m~0.2m），过小则计算量爆炸，过大则丢失细节。

2.1.3 毫米波雷达：速度感知与全天候优势

核心原理：毫米波雷达（通常77GHz或79GHz）利用多普勒效应直接测量目标的径向速度，且对雨、雾、灰尘等恶劣天气的穿透能力远强于相机和激光雷达。其输出为稀疏的雷达点，每个点包含距离、方位角、径向速度、RCS（雷达散射截面）等信息。但雷达的角度分辨率较低（典型4D雷达约1°~2°），无法区分并排的静止物体，且对金属物体反射强、对行人等弱反射体检测不稳定。

数据表示：雷达点云通常表示为R×5张量（x, y, z, v_r, rcs），其中v_r是径向速度。在端到端模型中，雷达数据常被编码为BEV特征图，与激光雷达点云融合。值得注意的是，雷达的“稀疏性”与激光雷达不同——它更稀疏（通常一帧仅数十至数百个点），但每个点携带速度信息，这对预测运动目标轨迹至关重要。

2.2 多传感器坐标系与标定基础

2.2.1 坐标系定义与变换链

端到端系统需要将不同传感器数据统一到同一空间参考系中。通常涉及以下坐标系：

1. 像素坐标系（u, v）：图像上的整数坐标，原点在左上角。
2. 图像物理坐标系（x, y）：以光轴与图像平面交点为原点，单位mm。
3. 相机坐标系（X_c, Y_c, Z_c）：以相机光心为原点，Z轴指向镜头前方。
4. 激光雷达坐标系（X_l, Y_l, Z_l）：以激光雷达中心为原点，通常Z轴向上。
5. 车辆坐标系（X_v, Y_v, Z_v）：以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴向上（ISO 8855标准）。

变换关系：从激光雷达点到像素坐标的投影公式为：

Z_c * [u, v, 1]^T = K * [R | t] * [X_l, Y_l, Z_l, 1]^T

其中K为相机内参矩阵（焦距fx, fy，主点cx, cy），R和t为激光雷达到相机的旋转矩阵和平移向量（外参）。标定的核心任务就是求解这些参数。

2.2.2 标定流程与精度验证

操作流程：

• 相机内参标定：使用棋盘格或AprilTag，采集10~20张不同位姿图像，通过张正友标定法计算内参和畸变系数。
• 激光雷达-相机外参标定：在标定场内放置多个反射靶标（如三角板），同时采集点云和图像，通过点云投影到图像上的重投影误差最小化来优化R和t。
• 雷达-激光雷达外参标定：利用角反射器（Corner Reflector）在两种点云中提取同一目标中心，通过ICP或手动选点配准。

精度验证指标：

2.3 实战案例：多传感器融合前的标定与数据对齐

场景背景：某自动驾驶项目采用1个前视800万像素相机、1个128线激光雷达和1个前向4D毫米波雷达，需要构建端到端模型的训练数据集。初始阶段发现模型在雨天和隧道场景下性能下降严重，经排查怀疑是传感器数据未正确对齐导致。

问题现象与数据：在晴天场景下，将LiDAR点云投影到图像上，发现远处（50m外）的车辆轮廓与图像边缘存在约5~8像素的偏移；在隧道内，偏移量增大至15像素以上。同时，Radar检测到的目标位置与LiDAR点云聚类中心在横向偏差达0.5m。

分析过程：

1. 首先检查时间同步：发现相机帧率30fps，LiDAR 10Hz，Radar 20Hz，各传感器时间戳未做硬件同步，最大时间差达80ms。在车速60km/h时，80ms内车辆移动约1.3m，导致投影错位。
2. 其次检查外参标定：使用重投影误差评估，发现初始标定结果在近距离（<20m）误差小于1像素，但远距离误差增大，怀疑外参中的旋转矩阵存在微小偏差（约0.1°~0.2°）。
3. 最后检查雷达与LiDAR对齐：发现Radar的安装位置与LiDAR存在约0.3m的平移偏差，且未进行精确的外参标定，仅使用了CAD模型的理论值。

解决步骤：

• 引入硬件同步信号（PPS + GPRMC），将相机曝光时刻与LiDAR旋转角度对齐，软件插值Radar数据，确保时间戳误差<5ms。
• 重新进行LiDAR-相机外参标定：使用40m外的靶标，采集20组数据，采用非线性优化（Levenberg-Marquardt）重新求解R和t，将重投影误差从平均3.2像素降至0.8像素。
• 对Radar-LiDAR进行联合标定：在空旷场地放置角反射器，采集100组数据，通过最小二乘拟合求解平移和旋转，将横向偏差从0.5m降至0.08m。

结果对比：重新标定后，在相同测试集上，端到端模型的3D目标检测mAP从68.2%提升至74.5%，雨天场景下的误检率降低32%。

复盘经验：标定不是一次性工作，车辆运行中的振动会导致外参漂移。建议在量产方案中增加在线标定模块，利用车道线、静止物体等自然特征进行实时外参修正。

2.4 常见误区与总结