1. 课程导入与EyeQ平台概览

在高级驾驶辅助系统与自动驾驶的感知链路中,Mobileye EyeQ系列芯片长期扮演着“视觉计算中枢”的角色。它并不是一颗通用GPU,而是一颗围绕多路摄像头输入、实时视觉算法与功能安全要求深度定制的SoC。理解EyeQ的演进脉络、内部任务分工,以及性能优化与资源治理的工程意义,是后续所有调优工作的起点。

一、EyeQ系列芯片的演进逻辑

EyeQ的迭代并非单纯堆算力,而是沿着“感知通道数、算法复杂度、能效比、功能安全等级”四条主线同步推进。早期EyeQ1/EyeQ2主要支撑单目或双目前视ADAS,算力在0.1~1 TOPS量级,处理对象以车道线、车辆、行人检测为主。EyeQ3开始引入更完整的视觉SoC架构,支持前视三目与多传感器融合,成为众多L2量产车型的核心。EyeQ4将算力提升到约2.5 TOPS,采用多核异构设计,支持8路摄像头输入,并强化了深度学习加速单元。EyeQ5进一步面向L4/L5,算力约24 TOPS,支持多路高分辨率摄像头与更复杂的神经网络,同时引入更严格的ASIL-D功能安全设计。EyeQ6系列则继续在能效比、AI加速密度和可扩展性上迭代,面向更高阶自动驾驶与集中式架构。

这条演进线给工程实践带来的直接启示是:不同代际EyeQ的算力、内存带宽、加速器类型、支持的算子集合差异很大。同一套视觉模型在EyeQ4上可实时运行,迁移到EyeQ5未必自动获得线性加速,因为瓶颈可能从算力转移到DDR带宽、数据搬运或调度开销。因此,性能优化必须“先定位代际特征,再定位具体瓶颈”。

二、视觉处理核心任务的分层

EyeQ上的视觉处理通常可以拆成四层任务。第一层是图像前端处理:包括去马赛克、降噪、畸变校正、自动曝光/白平衡、色调映射等,输出干净的图像数据。第二层是特征与几何处理:如边缘、角点、光流、深度估计、车道线拟合、相机标定与多相机对齐。第三层是深度学习感知:目标检测、语义分割、可行驶区域、交通标志识别、行人姿态等,通常由CNN或Transformer类模型承担。第四层是融合与后处理:将视觉结果与雷达、IMU、地图等信息融合,输出给规划控制模块。

这四层对资源的需求截然不同。前端处理偏重像素吞吐与固定功能硬件;几何处理偏重DSP与向量运算;深度学习感知吃AI加速器与DDR带宽;融合后处理则更依赖CPU与低延迟通信。资源治理的核心,就是让这四层在时间与空间上错峰、复用、不互相饿死。

EyeQ视觉处理任务分层与资源映射 ① 图像前端处理 去马赛克 · 降噪 · 畸变校正 · AE/AWB ② 特征与几何处理 光流 · 深度 · 车道线 · 多相机对齐 ③ 深度学习感知 检测 · 分割 · 可行驶区域 · 标志识别 ④ 融合与后处理 雷达/IMU融合 · 目标跟踪 · 输出规划 ISP / 固定功能硬件 像素吞吐 · 低延迟 DSP / 向量单元 SIMD · 定点/浮点 AI加速器 + DDR MAC阵列 · 带宽敏感 CPU / 通信总线 调度 · 低延迟通信 资源治理约束 算力上限 DDR带宽 功耗与散热 端到端延迟 功能安全裕量 多任务并发 温度与降频 内存占用 调度抖动 模型精度损失 OTA可升级性 优化目标:在固定算力/带宽/功耗预算下,最大化感知帧率、精度与安全裕量

三、性能优化与资源治理的工程意义

在量产项目中,EyeQ的资源预算是硬约束。以EyeQ4为例,典型配置下DDR带宽、AI加速器占用率、CPU负载都有明确上限。如果前视800万像素摄像头以30fps输入,仅图像前端与DDR搬运就可能吃掉相当比例的带宽。此时若把检测模型的分辨率从512×512提升到1024×1024,算力需求约变为4倍,但带宽和延迟可能先于算力成为瓶颈。工程上常见的做法是:先做带宽画像,统计每帧各阶段的读写字节数;再做算子级剖析,找出耗时最长的卷积或后处理;最后做调度与内存布局优化,例如层融合、权重量化、DMA双缓冲、多相机分时复用。

资源治理还涉及功能安全。EyeQ5及以上代际要求ASIL-D,意味着关键感知路径必须有冗余、有监控、有降级策略。性能优化不能以牺牲安全裕量为代价。例如,为了降低延迟而跳过某些校验,或为了省内存而共用缓冲区导致数据竞争,都是不可接受的。因此,优化与治理必须同时回答三个问题:快了多少、省了多少、安全边界是否仍然成立。

四、课程学习地图

本课程围绕“看得清、算得快、用得稳”三条主线展开。第一部分建立平台认知:EyeQ架构、工具链、性能模型与度量方法。第二部分深入视觉任务优化:图像前端、几何处理、深度学习推理的逐层调优手段,包括量化、剪枝、层融合、内存复用、DMA调度等。第三部分聚焦资源治理:带宽管理、功耗控制、多任务调度、功能安全约束下的性能取舍。第四部分通过综合案例,把优化方法串成可复现的工程闭环:从基线测量、瓶颈定位、方案实施到回归验证。

学习建议:每学一个优化手段,都回到“它改变了哪一层任务、消耗了哪类资源、对延迟/精度/安全有什么影响”这三个问题上。只有把手段与资源账本对应起来,才能在真实项目中做出正确取舍。

接下来,我们将从EyeQ的硬件架构与工具链开始,逐步建立可量化、可复现的性能优化与资源治理能力。