2. 摄像头感知基础
在讨论摄像头失效降级与感知重构之前，必须先建立对摄像头“如何把光变成可计算数据”的完整认识。只有理解成像链路中每一级可能引入的失真、延迟与失效模式，才能在后续章节中准确判断“哪一级坏了、还能不能用、如何降级”。本节围绕三个核心问题展开：光如何被转换为电信号，电信号如何被处理为图像，图像又以什么格式交给感知算法。
一、成像原理：从光子到数字像素
摄像头的物理起点是镜头与图像传感器。镜头负责把场景光线聚焦到传感器感光面，传感器则完成光电转换。当前车载与工业摄像头主流使用 CMOS 传感器，其基本单元是像素阵列，每个像素包含光电二极管、复位与读出电路。曝光期间，光子进入光电二极管产生电子，电荷量与入射光强和曝光时间近似成正比；读出阶段将电荷转换为电压，再经模数转换器（ADC）量化为数字值。
决定成像质量的关键参数包括：曝光时间决定运动模糊与低照度噪声，增益放大信号同时放大噪声，动态范围决定同时看清亮暗区域的能力，量子效率决定同样光强下的信噪比。对于感知系统而言，最重要的不是“图像好看”，而是像素值与真实辐照度之间的稳定映射关系。一旦曝光、增益或白平衡被错误锁定，后续检测、测距与跟踪都会系统性偏移。
二、图像信号处理链路（ISP Pipeline）
传感器原始输出通常是 Bayer 格式的 RAW 数据，每个像素只包含 R、G、B 中的一种分量。要得到可供算法使用的图像，需要经过图像信号处理器（ISP）的一系列处理。典型链路如下：
- 黑电平校正（BLC）：扣除暗电流对应的基础偏置，避免暗部整体抬升。
- 坏点校正（DPC）：替换因工艺缺陷始终过亮或过暗的像素。
- 镜头阴影校正（LSC）：补偿边缘亮度衰减与色彩不均。
- 去马赛克（Demosaic）：由 Bayer 阵列插值恢复每个像素的三通道值。
- 白平衡（AWB）：校正不同色温光源下的色彩偏差。
- 色彩校正与 Gamma：把传感器色彩空间映射到目标空间，并压缩动态范围以适配显示或编码。
- 降噪与锐化：抑制噪声同时增强边缘，二者存在天然矛盾。
- 色调映射与输出格式化：生成 YUV、RGB 或压缩码流。
需要特别注意的是，ISP 中的自动曝光（AE）、自动白平衡（AWB）、自动对焦（AF）构成闭环控制。当场景突变、光源闪烁或算法收敛失败时，图像会出现短暂过曝、偏色或失焦。这类“软失效”往往不会触发硬件故障码，却足以让感知模型输出错误结果，是降级策略必须覆盖的场景。
三、常见摄像头类型与输出数据格式
不同应用场景对摄像头的分辨率、帧率、动态范围、接口与成本要求差异很大。工程上常见的分类维度包括：传感器类型（CMOS/CCD）、输出接口（MIPI CSI-2、LVDS、GMSL、USB、以太网）、输出格式（RAW、YUV、RGB、压缩码流）以及功能定位（前视、环视、舱内、倒车、工业检测）。
| 类型 | 典型接口 | 常见输出格式 | 感知用途 | 降级关注点 |
|---|---|---|---|---|
| 前视主摄像头 | GMSL2 / MIPI | RAW10 / YUV422 | 目标检测、车道线 | 曝光、脏污、失焦 |
| 环视鱼眼摄像头 | LVDS / GMSL | YUV422 / MJPEG | 泊车、近距障碍 | 畸变标定、拼接错位 |
| 舱内 DMS 摄像头 | MIPI / USB | YUV / RGB | 驾驶员状态监测 | 红外补光、遮挡 |
| 工业检测相机 | GigE / USB3 | RAW / RGB | 缺陷检测、测量 | 触发同步、丢帧 |
| 网络 IP 摄像头 | 以太网 | H.264 / H.265 | 远程监控 | 编码延迟、码流中断 |
输出格式直接决定感知链路的处理方式。RAW 保留最多信息但需要自行处理 ISP；YUV 适合直接送入检测网络；压缩码流节省带宽但引入块效应与解码延迟。在降级设计中，常见策略是“高带宽格式失效时切换到低带宽格式”，例如从 RAW 切到 YUV，或从高分辨率切到低分辨率，以维持基本感知能力。
四、案例与复盘：一次典型的图像异常定位
某项目在夜间行车时出现目标检测漏检。排查发现：摄像头硬件自检正常，但 ISP 的 AE 在隧道出口强光突变时收敛过慢，导致连续约 300 ms 图像过曝，检测模型在该时段输出为空。复盘结论是：硬件无故障不等于感知可用。后续在降级策略中增加了“图像质量评估”环节，当亮度均值、对比度或清晰度指标越界时，主动降低对该路摄像头的置信度，并切换到毫米波雷达或历史轨迹进行短时补偿。
小结：成像原理决定了物理极限，ISP 链路决定了图像可用性，输出格式决定了感知接口。三者共同构成摄像头感知的基础。理解这条链路，才能在摄像头失效时准确判断降级层级，并为感知重构提供可靠的替代信息源。