1. 课程导入与工程全景

在高级驾驶辅助系统(ADAS)与自动驾驶感知链路中,Mobileye EyeQ 系列芯片长期扮演着“前视感知计算中枢”的角色。它并不是一颗通用 GPU,也不是简单的图像处理器,而是一套围绕单目/多目视觉输入、面向道路场景实时理解而设计的专用 SoC。理解 EyeQ 的工程定位,需要先把它放回整车电子电气架构中:摄像头模组负责采集原始图像,EyeQ 负责在极低功耗与确定性延迟约束下完成目标检测、分类、测距与跟踪,最终通过 CAN/FlexRay/以太网向域控制器或执行器输出结构化目标列表、车道线、可行驶区域与碰撞时间等信号。

从系统组成看,EyeQ 的典型感知流水线可以拆成四个层次。第一层是图像输入与预处理,包括 MIPI CSI-2 接收、去马赛克、畸变校正、自动曝光/白平衡以及感兴趣区域裁剪。第二层是检测与分类,利用卷积神经网络或传统特征级联方法,在每一帧中定位车辆、行人、骑行者、交通标志与车道线。第三层是时序关联与跟踪,通过帧间匹配、运动模型与数据关联,为每个目标分配稳定 ID,并估计其相对位置、速度与加速度。第四层是输出与安全逻辑,将感知结果封装为带置信度、时间戳与坐标系定义的目标列表,同时执行功能安全监控与降级策略。

工程约束是理解 EyeQ 设计取舍的关键。典型约束包括:功耗通常控制在 2~5 W 量级,以满足前视一体机的散热与车规要求;端到端延迟需稳定在 50~100 ms 以内,确保 AEB 等功能的实时性;算力需在 INT8 量化下达到数 TOPS 级别,同时保持高能效比;功能安全需满足 ISO 26262 ASIL-B 及以上等级,具备内存保护、看门狗与故障注入检测能力;此外还要面对雨雾、逆光、夜间、隧道出入口等极端光照与天气条件。

为了把上述抽象概念落到工程对象上,下面用一张信号链与数据流图展示 EyeQ 从摄像头输入到整车输出的核心路径。图中同时标注了典型接口、处理阶段与关键输出字段,便于后续章节逐层展开。

EyeQ 道路目标检测与跟踪:信号链与数据流全景 从摄像头原始图像到整车结构化目标输出 摄像头模组 MIPI CSI-2 输出 RAW / YUV 图像 典型 1280×960 @30fps 曝光 / 增益 / 帧同步 CSI-2 Mobileye EyeQ SoC 专用视觉感知计算中枢 ① 图像预处理 去马赛克 / 畸变校正 / 裁剪 自动曝光 / 白平衡 ② 检测与分类 CNN / 特征级联 车辆 / 行人 / 车道线 / 标志 ③ 时序关联与跟踪 帧间匹配 / 运动模型 目标 ID / 速度 / 加速度 ④ 输出与安全逻辑 目标列表封装 / 时间戳 功能安全监控 / 降级 内部高速总线 / 共享内存 / DMA 通道 ISO 26262 功能安全监控 · 看门狗 · 内存保护 · 故障注入检测 CAN / 以太网 整车输出 目标列表 ID / 类型 / 位置 / 速度 车道线方程 曲率 / 横向偏移 可行驶区域 自由空间边界 碰撞时间 TTC 预警 / 制动请求 置信度与时间戳 坐标系定义与标定 功能安全状态字 典型工程约束 功耗 2~5 W 车规散热与能效 延迟 50~100 ms 端到端确定性 算力数 TOPS INT8 量化推理 ASIL-B 及以上 功能安全等级 全天候鲁棒性 雨雾 / 逆光 / 夜间

图中最值得关注的是“检测—跟踪—输出”三段之间的耦合关系。检测阶段给出的是每一帧独立的候选框与类别置信度,但单帧结果存在抖动、漏检与误检;跟踪阶段通过卡尔曼滤波或粒子滤波建立运动模型,利用匈牙利算法或最近邻匹配完成帧间关联,从而输出平滑且带 ID 的轨迹。工程上常把跟踪质量作为感知稳定性的核心指标,例如目标 ID 切换率(ID Switch)和轨迹碎片化程度(Fragmentation)。

在输出侧,EyeQ 通常以目标列表的形式向整车提供信息。一个典型的目标结构包含:目标 ID、类别(轿车/卡车/行人/骑行者)、横向与纵向距离、相对速度、加速度、目标宽度与高度、置信度、存在概率、时间戳以及坐标系标识。坐标系定义必须与整车标定一致,通常以车辆后轴中心为原点,X 轴指向车辆前方,Y 轴指向左侧,Z 轴指向上方。若切换参照系,必须在接口文档中明确说明,否则下游融合模块会产生系统性偏差。

学习本课程时,建议始终带着三个问题阅读每一章:第一,这个模块的输入是什么、输出是什么;第二,它受到哪些实时性与资源约束;第三,当它失效或降级时,整车会观察到什么现象。这三个问题能帮助你把零散知识点串成完整的工程链路。

从工程实践角度看,EyeQ 的部署并不是“把模型跑起来”这么简单。以目标检测为例,实际流程通常包括:在 PC 端完成模型训练与浮点验证;通过量化工具将权重与激活值转为 INT8,并校准量化误差;使用 EyeQ 专用编译器将网络映射到可用计算单元;在目标板上进行逐层精度比对与端到端回放;最后在实车或数据回放平台上统计漏检率、误检率与延迟分布。每一步都可能引入精度损失或时序偏差,因此需要保留中间张量用于对比分析。

典型输出指标方面,工程上常用 mAP 衡量检测精度,用 MOTA、IDF1 衡量跟踪质量,用 TTC 误差衡量测距与测速精度。以 AEB 场景为例,若前方车辆以 50 km/h 行驶,自车以 60 km/h 接近,相对速度约 2.78 m/s,当 TTC 低于 1.5 s 时系统应发出预警,低于 0.6 s 时请求制动。这些阈值并非固定不变,而是根据车型、载荷与路面附着系数进行标定。理解这些参数关系,有助于你在后续章节中判断感知输出是否满足功能要求。

最后需要强调,EyeQ 的工程全景不是单一算法问题,而是“算法—算力—功耗—安全—成本”五者之间的平衡。检测精度提升往往带来算力与功耗上升;跟踪稳定性提升可能增加内存访问与延迟;功能安全机制会占用额外计算资源。课程后续将沿着这条主线,逐层拆解图像预处理、检测网络、跟踪关联、输出接口与安全机制,帮助你在真实约束下做出合理的设计与调试决策。