1. 课程导入与Mobileye EyeQ平台概览
在智能驾驶的感知、决策与执行链路中,视觉感知长期承担着最繁重的计算任务。Mobileye EyeQ系列芯片正是围绕这一任务从零设计的专用视觉计算平台:它不是把通用CPU或GPU简单塞进车里,而是把图像信号处理、稠密光流、深度神经网络推理、以及面向功能安全的冗余机制,按车载视觉的固定数据流重新组织成一颗SoC。理解EyeQ,关键不是记住某一代的算力数字,而是理解它"为视觉流水线而生"的设计取向,以及这种取向如何影响我们后续的开发方式。
一、EyeQ系列演进:从辅助驾驶到中央计算
EyeQ的演进可以按"感知能力"和"集成度"两条线索来梳理。第一代EyeQ1(约2007年)主要服务前视单目ADAS,典型任务是车道线检测与前车识别,算力在个位数TOPS以下,采用较简单的多核架构。EyeQ2、EyeQ3逐步引入更完整的视觉加速单元,支撑AEB、车道保持等L1/L2功能,EyeQ3是特斯拉早期Autopilot平台的核心芯片之一。
EyeQ4是一个明显的分水岭:它采用多核异构架构,包含MIPS CPU核、专用视觉加速器(VMP)、深度神经网络加速器(DNN)以及图像信号处理器(ISP),可同时处理多路摄像头输入,支撑L2+级功能。EyeQ5进一步面向L4/L5,采用7nm工艺,集成8个MIPS CPU核与多组加速器,强调"多摄像头、多任务、可冗余"的中央感知计算。EyeQ6系列则继续向更高集成度、更优能效比演进,并强化对多芯片级联与集中式架构的支持。
需要强调的是,EyeQ的算力表述(如EyeQ4约2.5TOPS、EyeQ5约24TOPS)通常指特定精度下的等效算力,不同代际的加速器结构差异很大,直接横向比较TOPS并不能反映真实感知性能。开发中更应关注的是:某代芯片支持几路摄像头、每路的分辨率与帧率上限、DNN加速器支持的算子集合与量化方式。
二、核心设计理念:为视觉流水线定制
EyeQ的设计理念可以概括为三点。第一是异构专用化:ISP负责把原始Bayer数据转成高质量图像,VMP处理稠密光流与立体匹配,DNN加速器执行卷积网络,CPU核负责调度与后处理。每一类任务交给最合适的硬件,而不是全部压在通用核上。第二是确定性数据流:从摄像头输入到感知输出,数据在芯片内部的搬运路径相对固定,便于做延迟分析和功能安全论证。第三是冗余与安全:EyeQ5等代际支持锁步核、ECC内存、以及多芯片互为备份,满足ISO 26262 ASIL-B/D级别的设计需求。
对开发者而言,这意味着不能像写PC程序那样随意分配线程和内存。你需要理解数据在ISP→VMP→DNN→CPU之间的流动顺序,知道哪些算子被硬件加速、哪些会回落到CPU,以及帧缓冲和中间结果的驻留位置。这些约束直接决定了感知延迟和吞吐。
三、在智能驾驶视觉平台中的定位
EyeQ处于"传感器—计算—执行"链路的计算层,但它不是孤立的芯片,而是一套包含芯片、板级参考设计、底层驱动、以及Mobileye感知算法库的完整平台。在典型的L2+方案中,多路摄像头接入EyeQ,芯片内部完成图像处理与感知推理,输出目标列表、车道线、可行驶区域等结构化结果,再通过CAN或以太网送给域控制器或整车控制器。
与通用GPU方案相比,EyeQ的优势在于能效比和确定性;代价是编程灵活性较低,算法需要适配其加速器特性。因此本课程的重点不是"如何写一个通用CNN",而是"如何把感知任务映射到EyeQ的硬件资源上,并验证其延迟、精度与安全性"。
四、本课程知识框架与学习目标
课程将沿四条主线展开:平台与硬件(芯片架构、加速器、接口与板级设计)、感知算法与部署(ISP调优、DNN量化与映射、多传感器融合)、开发工具链(SDK、编译器、仿真与调试工具)、工程与安全(功能安全、冗余设计、性能与功耗优化)。
学完本课程,你应当能够:读懂EyeQ某代芯片的数据手册与资源约束;把一个视觉感知任务拆解到ISP、VMP、DNN、CPU四类资源上;使用工具链完成模型量化、编译与部署;通过延迟、帧率、精度、资源占用四类指标判断方案是否达标;并理解功能安全对软件设计的具体约束。