1. 课程导入与低照度车载成像挑战
车载摄像头已经成为ADAS与自动驾驶感知栈中最基础、也最容易被低估的传感器。与激光雷达和毫米波雷达相比,摄像头成本低、分辨率高、语义信息丰富,能够识别车道线、交通标志、信号灯颜色、行人意图和车辆姿态。但摄像头也是所有传感器中对光照最敏感的一个:当环境照度从白天晴天的约10000 lx下降到夜间无路灯乡道的0.1 lx甚至更低时,进入图像传感器的光子数量下降四到五个数量级,图像质量随之急剧恶化。onsemi(安森美)在车载成像领域的定位,正是围绕"如何在极低照度下仍然输出可用于感知决策的图像"这一核心问题展开的。
理解低照度挑战,首先要理解图像质量的物理约束。图像传感器的输出信号本质上是对入射光子的统计测量,其信噪比(SNR)受三个因素支配:光子散粒噪声、读出噪声和暗电流噪声。在低照度下,光子散粒噪声成为主导,SNR大致与光子数的平方根成正比。这意味着照度每下降10倍,要达到同样的SNR,曝光时间或像素面积需要增加约10倍。而车载场景中曝光时间受运动模糊限制——以60 km/h行驶时,若曝光时间为10 ms,车辆已移动约16.7 cm,足以让行人轮廓模糊。像素面积则受分辨率和芯片尺寸约束。因此,低照度成像不是单纯"提高增益"就能解决的问题,而是一个在灵敏度、动态范围、帧率、功耗和成本之间反复权衡的系统工程。
低照度对ADAS/自动驾驶的实际影响可以归纳为三条链路:
- 检测链路:目标对比度下降,行人、锥桶、掉落物等低反射率目标在图像中与背景灰度接近,检测置信度下降,漏检率上升。
- 测距与定位链路:车道线在低照度下边缘模糊,车道保持和视觉里程计的横向定位精度下降;立体视觉的视差匹配在噪声区域失效,深度图出现空洞。
- 决策链路:感知输出的不确定性增加,若下游规划模块未正确建模这种不确定性,可能产生过于激进的决策,或在应该减速时未减速。
onsemi的车载成像产品线覆盖了从传感器到图像信号处理器的完整链路,包括Hyperlux系列高动态范围CMOS图像传感器、支持LED闪烁抑制(LFM)的像素架构,以及配套的ISP和SerDes传输方案。其技术路线强调在单次曝光内实现高动态范围,避免多帧合成带来的运动伪影;同时通过背照式(BSI)和深沟槽隔离(DTI)工艺提升量子效率和像素间串扰抑制。这些技术细节将在后续章节逐步展开,本章先建立整体认知框架。
本课程的学习路径按照"器件—系统—验证"三层递进组织。第一层聚焦传感器本身:像素结构、曝光控制、增益策略、动态范围与噪声模型,理解为什么某些参数在低照度下成为瓶颈。第二层聚焦系统集成:镜头光圈与透光率、红外截止滤光片的光谱取舍、ISP的降噪与色调映射、以及多摄像头同步与数据带宽约束。第三层聚焦验证方法:如何设计低照度测试场景、如何量化图像质量、如何将图像指标与感知算法性能关联起来。整个课程共30章,从物理原理到工程实践,最终落到可复现的测试与调优流程。
在进入具体技术细节之前,需要先明确一个贯穿全课程的判断原则:低照度成像的优劣不能只看"图像看起来亮不亮",而要看"感知算法能否稳定输出正确结果"。一张经过强降噪和提亮处理的图像,可能在视觉上令人满意,但降噪过程抹掉了小目标的边缘,反而降低了检测性能。因此,本课程在讨论每一项技术时,都会同时关注两个层面的指标:图像质量指标(SNR、动态范围、MTF、色彩误差)和感知性能指标(mAP、漏检率、深度误差、车道线拟合偏差)。只有将两者关联起来,才能判断一项调优是否真正有效。
学习建议:在阅读后续章节时,建议准备一份自己的"参数—现象—指标"记录表。例如:当把模拟增益从1×提升到4×时,暗区亮度提升,但读出噪声也被放大,SNR可能不升反降;此时应观察暗区平坦区域的时域噪声标准差,以及感知算法在该区域的检测置信度变化。这种记录习惯会把零散的知识点串成可复用的工程经验。
本课程面向已经具备基本图像传感器知识和嵌入式系统概念的读者,不要求事先熟悉onsemi具体产品型号。每章会给出必要的物理背景、关键参数定义和典型数值范围,并在涉及具体配置时说明其适用条件。对于示例中的参数和结果,会明确标注为教学示例或合理假设,读者在实际项目中应以器件数据手册和实测数据为准。
低照度车载成像的难点,本质上是在物理极限、工程约束和感知需求之间寻找可行解。onsemi的器件和方案提供了重要的技术基础,但最终效果取决于系统级的匹配与验证。接下来的章节将从像素和光子开始,逐步构建起完整的知识链路。