1. R-Car多摄像头视觉感知系统概述

在智能驾驶与高级辅助驾驶（ADAS）系统中，摄像头是最重要的环境感知传感器之一。单车前视、侧视、后视与环视摄像头数量通常达到 4～12 路，分辨率从 1MP 到 8MP 不等，帧率普遍在 30fps 以上。如此多路高带宽视频流若全部交由单一通用处理器处理，CPU 很快会成为瓶颈。Renesas R-Car 系列 SoC 正是为这类车载视觉场景设计的异构计算平台，它在芯片内部集成了 CPU、GPU、专用图像处理单元（ISP/IMP）、视频编解码器以及硬件加速器，使多路摄像头数据能够在片内完成采集、校正、融合与推理，而不必反复搬运到片外。

理解 R-Car 在车载视觉中的定位，需要先区分它与普通应用处理器（如手机 SoC）的差异。R-Car 的典型特征包括：支持多路 MIPI CSI-2 输入，具备符合 ISO 26262 功能安全等级的设计，工作温度范围覆盖 -40℃～+125℃，并针对图像信号处理链路做了硬件固化。以 R-Car V3H/V3M 为例，其集成的 IMP（Image Processing Unit）可对多路摄像头做去马赛克、降噪、畸变校正和色调映射；而 CNN 加速器（如 CNN-IP）则用于执行目标检测、车道线识别等神经网络推理任务。这种“ISP + NPU + CPU”的分工，决定了多摄像头系统的软件架构必须围绕数据流与算力分配来设计。

多摄像头感知系统的典型架构

一个典型的 R-Car 多摄像头视觉感知系统，可以按数据流向划分为四个层次：传感器层、采集与预处理层、感知计算层和输出与融合层。传感器层由前视、环视、侧视等摄像头模组构成，通过 MIPI CSI-2 或 GMSL/FPD-Link 串行链路接入 SoC。采集与预处理层负责 CSI-2 解串、图像格式转换、畸变校正和色彩空间转换，这部分在 R-Car 上通常由 VIN（Video Input）模块与 IMP 协同完成。感知计算层是算力最密集的部分，包含基于 CNN 的目标检测、语义分割、光流计算等，运行在 CNN-IP 或 GPU 上。输出与融合层则将多路感知结果做时间同步与空间对齐，形成统一的车辆周围环境模型，供决策规划模块使用。

需要特别注意的是，多摄像头系统并不是“每路摄像头独立处理再简单拼接”。由于不同摄像头的安装位置、朝向和焦距不同，同一物体在不同图像中的像素坐标、尺度和遮挡关系都不一样。因此，系统必须在预处理阶段完成相机标定（内参、外参、畸变系数），在融合阶段完成坐标统一（通常转换到车辆坐标系或 BEV 鸟瞰图坐标系）。R-Car 的 IMP 支持硬件畸变校正，但标定参数仍需由软件在启动阶段写入寄存器或查找表。这一环节如果出错，后续所有感知结果都会出现系统性偏移。

课程目标与学习路径

本课程围绕“如何把多路摄像头数据在 R-Car 上跑通并得到可用的感知结果”这一主线展开，共 30 章。学习路径遵循“先建立系统认知，再逐层深入实现”的原则。前几章会先讲清楚 R-Car 的硬件资源与软件栈（如 Yocto/BSP、V4L2 驱动框架、OpenCL/OpenVX 支持），然后进入摄像头接入与标定、图像预处理、CNN 模型部署与优化、多路融合与时间同步等具体环节。每一章都会给出可操作的配置示例、参数取值依据和结果判断方法，而不是停留在概念介绍。

对于初学者，建议按章节顺序推进，因为后续章节会反复引用前面建立的坐标系约定、内存布局和驱动接口。对于已有嵌入式视觉经验的读者，可以重点阅读第 8 章之后的 CNN 部署、第 15 章之后的多路同步与融合，以及第 22 章之后的性能调优与功能安全。无论哪种路径，都建议在真实或模拟的 R-Car 开发板上动手验证，因为多摄像头系统的很多问题（如 CSI-2 带宽不足、帧同步丢失、DDR 带宽争抢）只有在实际运行中才会暴露。

最后需要明确的是，R-Car 多摄像头视觉感知系统的集成不是单纯的“调通摄像头”或“跑通模型”，而是要在带宽、延迟、功耗和功能安全之间取得平衡。例如，8MP 前视摄像头以 30fps 输出 RAW 数据时，单路带宽约为 8M×30×1.5Byte≈360MB/s，四路环视加两路侧视再叠加，总输入带宽很容易超过 1GB/s。如果不在预处理阶段做降采样或 ROI 裁剪，DDR 带宽会迅速成为瓶颈。因此，从第一章开始就建立“带宽与算力预算”的意识，比记住某个寄存器的地址更重要。