3. 雷达与视觉传感器基础

在 TI Jacinto 这类面向 ADAS/AD 的异构 SoC 上做多传感器融合，第一步不是写融合算法，而是把两类传感器的“物理量—数字量—坐标量”链路彻底搞清楚。毫米波雷达给出的是距离、速度、角度；摄像头给出的是像素、图像平面坐标。二者只有在统一的时间基准和空间基准下，才可能被同一个跟踪器或 BEV 网络正确关联。本节围绕 FMCW 原理、成像模型、坐标系定义、内外参标定与时间同步需求展开，为后续融合工程打基础。

一、FMCW 毫米波雷达：从调频波到距离—速度—角度

FMCW（调频连续波）雷达发射一段频率随时间线性上升的“chirp”信号，遇到目标反射后接收，收发信号在混频器里做差频，得到中频信号 IF。中频频率 f_IF 与目标距离 R 成正比：

f_IF = (2 · S · R) / c
R = (c · f_IF) / (2 · S)

其中 S 为调频斜率（Hz/s），c 为光速 3e8 m/s

举例：某 77 GHz 雷达配置 S = 30 MHz/μs = 3e13 Hz/s，若测得 f_IF = 2 MHz，则 R = (3e8 × 2e6) / (2 × 3e13) = 10 m。这就是雷达测距的基本计算方式，也是理解后续距离分辨率、最大探测距离的起点。

速度测量依赖“多普勒效应 + 多 chirp 相位差”。同一距离单元上，相邻两个 chirp 的回波相位差 Δφ 与目标径向速度 v 相关：

Δφ = 4π · v · Tc / λ
v = (λ · Δφ) / (4π · Tc)

Tc 为 chirp 周期，λ 为波长（77 GHz 约 3.9 mm）

角度测量则依靠多接收天线之间的相位差。对于间距 d 的接收阵元，到达角 θ 满足 Δφ = 2π · d · sinθ / λ，通过 FFT 或 MUSIC 等算法即可估计方位角。因此雷达天然输出 (R, v, θ) 三元组，且对光照、雨雾不敏感，但角分辨率通常弱于摄像头。

二、摄像头成像模型：从三维世界到二维像素

摄像头成像遵循针孔模型。世界坐标点 P_w = (X, Y, Z) 先经外参（旋转 R、平移 t）变换到相机坐标系，再经内参矩阵 K 投影到像素坐标 (u, v)：

[u]   [fx  0  cx] [Xc/Zc]
[v] = [0  fy  cy] [Yc/Zc]
[1]   [0   0   1] [ 1   ]

其中 Xc = R·Pw + t，fx、fy 为焦距（像素单位），cx、cy 为主点

内参 K 描述镜头与像元几何，外参 [R|t] 描述相机在车体/世界中的位姿。实际镜头存在径向与切向畸变，需用 k1, k2, p1, p2, k3 等畸变系数先做去畸变，再套用上述线性模型。理解这一点，才能明白为什么雷达点投影到图像时不能只用 K，而必须同时具备外参和畸变校正。

三、坐标系定义：融合的“共同语言”

多传感器融合必须明确每个坐标系的定义与转换方向。工程中常见的有：

• 世界坐标系：通常以车辆后轴中心或前保险杠中心为原点，X 向前、Y 向左、Z 向上（ISO 8855 右手系）。
• 车体坐标系：与车辆固连，用于描述各传感器安装位置。
• 雷达坐标系：原点在雷达天线相位中心，X 向前、Y 向左、Z 向上，输出距离/速度/角度。
• 相机坐标系：原点在光心，Z 沿光轴向前，X 向右，Y 向下（OpenCV 约定）。
• 图像坐标系：像素坐标 (u, v)，原点在左上角。

注意相机坐标系与车体坐标系轴向不同，转换时旋转矩阵不是单位阵。若定义车体 X 前、Y 左、Z 上，相机 Z 前、X 右、Y 下，则从相机到车体的旋转约为绕 X 轴 -90°、再绕 Z 轴 -90° 的组合。任何标定结果都必须注明“从哪个系到哪个系”，否则融合时会出现方向性错误。

四、内外参标定与时间同步需求

外参标定解决“雷达和相机在空间上如何对齐”。常用方法是在车辆前方放置已知尺寸的标定板（如棋盘格或角反射器），同时采集雷达点云与图像，通过最小化重投影误差求解 [R|t]。内参标定则用棋盘格多视角图像，通过张正友标定法求解 K 与畸变系数。标定完成后，雷达点 (R, θ) 可先转到车体系，再转到相机系，最后投影到像素，与图像目标做关联。

时间同步解决“同一时刻”的问题。雷达帧率通常为 10–20 Hz，相机为 30 Hz，且各自有曝光/采样延迟。若不做同步，一个 10 m/s 的目标在 50 ms 内移动 0.5 m，足以造成关联失败。工程上常用 PPS + gPTP 或硬件触发，把传感器时间戳统一到同一时钟域，并在融合前做时间对齐（插值或最近邻）。Jacinto 的 CPTS 与 MCU 域定时器可用于生成同步脉冲，确保雷达 chirp 与相机曝光在时间上可追溯。

五、工程落地要点

在 Jacinto 平台上，雷达数据通常经 CAN-FD 或以太网进入，摄像头经 CSI-2 进入 ISP 与 VPAC。融合前需要确认三件事：第一，雷达点是否已从雷达系转到车体系，旋转矩阵是否与标定一致；第二，相机图像是否已完成去畸变，内参是否与标定文件匹配；第三，两路数据的时间戳是否来自同一时钟源，若不同需做偏移估计。只有这三项都对齐，后续的匈牙利匹配、卡尔曼滤波或 BEV 融合才有意义。

总结来说，FMCW 雷达提供精确的距离与速度，摄像头提供丰富的语义与角分辨率，二者互补。融合的前提是空间上通过内外参标定对齐到车体系，时间上通过硬件同步与时间戳对齐到同一时刻。理解 (R, v, θ) 到 (u, v) 的完整链路，是后续在 Jacinto 上实现雷达视觉融合的第一步。