1. 课程导入与工程全景
在高级驾驶辅助系统(ADAS)与自动驾驶感知链路中,Mobileye EyeQ 系列芯片长期扮演着“前视感知计算中枢”的角色。它并不是一颗通用 GPU,也不是简单的图像处理器,而是一套围绕单目/多目视觉输入、面向道路场景实时理解而设计的专用 SoC。理解 EyeQ 的工程定位,需要先把它放回整车电子电气架构中:摄像头模组负责采集原始图像,EyeQ 负责在极低功耗与确定性延迟约束下完成目标检测、分类、测距与跟踪,最终通过 CAN/FlexRay/以太网向域控制器或执行器输出结构化目标列表、车道线、可行驶区域与碰撞时间等信号。
从系统组成看,EyeQ 的典型感知流水线可以拆成四个层次。第一层是图像输入与预处理,包括 MIPI CSI-2 接收、去马赛克、畸变校正、自动曝光/白平衡以及感兴趣区域裁剪。第二层是检测与分类,利用卷积神经网络或传统特征级联方法,在每一帧中定位车辆、行人、骑行者、交通标志与车道线。第三层是时序关联与跟踪,通过帧间匹配、运动模型与数据关联,为每个目标分配稳定 ID,并估计其相对位置、速度与加速度。第四层是输出与安全逻辑,将感知结果封装为带置信度、时间戳与坐标系定义的目标列表,同时执行功能安全监控与降级策略。
为了把上述抽象概念落到工程对象上,下面用一张信号链与数据流图展示 EyeQ 从摄像头输入到整车输出的核心路径。图中同时标注了典型接口、处理阶段与关键输出字段,便于后续章节逐层展开。
图中最值得关注的是“检测—跟踪—输出”三段之间的耦合关系。检测阶段给出的是每一帧独立的候选框与类别置信度,但单帧结果存在抖动、漏检与误检;跟踪阶段通过卡尔曼滤波或粒子滤波建立运动模型,利用匈牙利算法或最近邻匹配完成帧间关联,从而输出平滑且带 ID 的轨迹。工程上常把跟踪质量作为感知稳定性的核心指标,例如目标 ID 切换率(ID Switch)和轨迹碎片化程度(Fragmentation)。
在输出侧,EyeQ 通常以目标列表的形式向整车提供信息。一个典型的目标结构包含:目标 ID、类别(轿车/卡车/行人/骑行者)、横向与纵向距离、相对速度、加速度、目标宽度与高度、置信度、存在概率、时间戳以及坐标系标识。坐标系定义必须与整车标定一致,通常以车辆后轴中心为原点,X 轴指向车辆前方,Y 轴指向左侧,Z 轴指向上方。若切换参照系,必须在接口文档中明确说明,否则下游融合模块会产生系统性偏差。
从工程实践角度看,EyeQ 的部署并不是“把模型跑起来”这么简单。以目标检测为例,实际流程通常包括:在 PC 端完成模型训练与浮点验证;通过量化工具将权重与激活值转为 INT8,并校准量化误差;使用 EyeQ 专用编译器将网络映射到可用计算单元;在目标板上进行逐层精度比对与端到端回放;最后在实车或数据回放平台上统计漏检率、误检率与延迟分布。每一步都可能引入精度损失或时序偏差,因此需要保留中间张量用于对比分析。
典型输出指标方面,工程上常用 mAP 衡量检测精度,用 MOTA、IDF1 衡量跟踪质量,用 TTC 误差衡量测距与测速精度。以 AEB 场景为例,若前方车辆以 50 km/h 行驶,自车以 60 km/h 接近,相对速度约 2.78 m/s,当 TTC 低于 1.5 s 时系统应发出预警,低于 0.6 s 时请求制动。这些阈值并非固定不变,而是根据车型、载荷与路面附着系数进行标定。理解这些参数关系,有助于你在后续章节中判断感知输出是否满足功能要求。
最后需要强调,EyeQ 的工程全景不是单一算法问题,而是“算法—算力—功耗—安全—成本”五者之间的平衡。检测精度提升往往带来算力与功耗上升;跟踪稳定性提升可能增加内存访问与延迟;功能安全机制会占用额外计算资源。课程后续将沿着这条主线,逐层拆解图像预处理、检测网络、跟踪关联、输出接口与安全机制,帮助你在真实约束下做出合理的设计与调试决策。