3. 视觉与雷达融合的传感器配置
在视觉与雷达融合系统中,传感器配置不是简单地把摄像头和雷达“接上去”,而是要在接口带宽、数据吞吐、时间同步三个维度上同时满足融合算法的输入要求。本节围绕摄像头模组与毫米波雷达芯片(以 AWR2243、AWR1843 为例)的实际配置展开,说明接口选型、数据率估算与同步机制的设计方法。
一、摄像头模组的接口与数据率
车载摄像头模组通常由图像传感器、串行器(Serializer)和同轴/差分线缆组成。图像传感器输出并行或 MIPI CSI-2 信号,经串行器转换为 GMSL、FPD-Link 或 MIPI A-PHY 等高速串行链路,再由域控制器端的解串器(Deserializer)还原为 CSI-2 送入 SoC。常见配置中,前视 800 万像素摄像头在 30fps、RAW12 格式下,单帧数据量为 3840×2160×1.5 Byte ≈ 12.4 MB,对应有效数据率约 373 MB/s(约 3 Gbps);若采用 RAW10,则约 2.5 Gbps。环视 200 万像素摄像头在 30fps、RAW10 下约为 0.62 Gbps。这些数值决定了串行链路必须选择 GMSL2(3 Gbps 或 6 Gbps)或 FPD-Link III 等足够带宽的通道。
在域控 SoC 侧,多路摄像头汇聚时需核算 CSI-2 总带宽。例如 4 路 200 万像素环视加 1 路 800 万像素前视,总有效带宽约 0.62×4 + 3 ≈ 5.5 Gbps,加上协议开销与消隐期,实际需预留 20%~30% 余量,因此 SoC 的 CSI-2 接口或解串器聚合通道应支持 8 Gbps 以上。若带宽不足,会出现丢帧、行同步错乱或图像撕裂,融合算法将因输入不完整而失效。
二、AWR2243 与 AWR1843 的接口与数据率
AWR2243 是 TI 的 77GHz 单芯片毫米波雷达前端,支持 3 发 4 收,通过 CSI-2 或 LVDS 输出原始 ADC 数据,也可经内部 DSP 处理后输出点云。AWR1843 则集成了 DSP、MCU 和硬件加速器,可直接输出点云与目标列表,接口以 CAN-FD、SPI 和 LVDS 为主。两者在融合系统中的角色不同:AWR2243 常作为高数据率原始数据源,配合外部处理器做成像或高分辨处理;AWR1843 更适合作为边缘节点,输出结构化目标信息。
以 AWR2243 为例,若配置 4 个接收通道、每通道每帧 256 个采样点、128 个 chirp、16 位采样,则单帧原始数据量为 4×256×128×2 Byte = 256 KB。在 20 帧/秒的帧率下,数据率约 5.1 MB/s(约 41 Mbps)。若提高至 512 采样点、256 chirp,则单帧达 1 MB,20fps 下约 20 MB/s(160 Mbps)。这一量级远低于摄像头,但对 CSI-2 的突发传输和 DDR 写入仍提出要求。AWR1843 输出点云时,单帧目标数通常为几十到几百个,每个目标包含距离、速度、角度、RCS 等字段,数据率通常低于 1 Mbps,CAN-FD 即可承载。
三、同步需求:时间对齐与触发机制
视觉与雷达融合的核心难点之一是时间同步。摄像头曝光时刻与雷达 chirp 发射时刻若偏差过大,运动目标在图像与点云中的位置将不一致,导致关联错误。工程上通常采用硬件同步:由域控制器或专用同步板产生周期性触发信号(如 30Hz 或 20Hz 的 FSIN),同时送入摄像头的同步输入引脚和雷达的 SYNC_IN 引脚。AWR2243 支持外部帧触发,可通过 SYNC_IN 引脚或 SPI 命令实现帧起始对齐;摄像头模组则通过 FSIN 引脚控制曝光起始。
同步精度要求取决于目标运动速度与融合算法容忍度。以 120km/h(33.3m/s)相对运动为例,若允许的位置偏差为 0.1m,则时间同步误差需小于 3ms。若允许 0.05m,则需小于 1.5ms。因此,硬件触发加软件时间戳校准是常见组合:硬件触发保证帧起始对齐,软件在 SoC 侧记录每帧的到达时间戳,融合时按时间戳插值或选择最近邻帧。此外,雷达内部各 chirp 的时间戳、摄像头曝光中间时刻的时间戳都应统一到同一时钟域,通常以域控的全局时钟为基准。
四、配置示例与检查要点
下面给出一份可参考的传感器配置检查表,用于在域控集成前核对接口、数据率与同步参数。表中数值为教学示例,实际项目需按具体传感器型号与 SoC 手册核算。
| 检查项 | 示例配置 | 判断依据 |
|---|---|---|
| 前视摄像头接口 | GMSL2 6Gbps,RAW12,30fps | 有效数据率 3Gbps,链路余量 ≥ 50% |
| 环视摄像头接口 | GMSL2 3Gbps,RAW10,30fps | 单路 0.62Gbps,4 路聚合 ≤ 2.5Gbps |
| AWR2243 数据接口 | CSI-2 4-lane,原始 ADC 输出 | 单帧 256KB,20fps 下 41Mbps,突发需 DDR 支持 |
| AWR1843 数据接口 | CAN-FD 5Mbps,点云输出 | 目标数 ≤ 200,单帧 < 1KB,总线负载 < 30% |
| 同步触发 | 30Hz FSIN 同时接摄像头与雷达 | 同步误差 < 3ms,对应 120km/h 下位置偏差 < 0.1m |
| 时间戳基准 | 域控全局时钟,SoC 记录到达时间 | 各传感器时间戳统一到同一时钟域 |
综上,摄像头模组与毫米波雷达芯片的配置需要从接口带宽、数据率估算和硬件同步三个层面协同设计。摄像头侧重点关注串行链路带宽与 CSI-2 聚合能力,雷达侧重点关注原始数据突发与点云输出接口的选择,同步侧则以硬件触发加全局时间戳为基本手段,确保融合算法获得时间一致、空间可关联的输入。