4、RAW数据格式与预处理：RAW文件格式解析（10/12/14bit）、坏点校正（DPC）、黑电平校正（BLC）、镜头阴影校正（LSC）的原理与实现
RAW数据是图像信号处理（ISP）流水线的起点，也是决定最终图像质量上限的“原始素材”。与经过压缩和色彩处理的JPEG或YUV数据不同，RAW数据直接记录了图像传感器（Sensor）上每个像素点的光电转换电压量化值，未经过任何插值、白平衡或色彩校正。理解RAW格式的位深、排列方式以及预处理环节（坏点校正、黑电平校正、镜头阴影校正），是ISP工程师必须掌握的第一块基石。本章将深入解析RAW数据的底层结构，并逐一拆解三大预处理模块的原理与工程实现要点。
4.1 RAW文件格式解析：从Sensor到内存的原始数据
RAW数据本质上是一个二维数组，每个元素对应Sensor上一个物理像素的量化值。Sensor的感光区域通常覆盖着Bayer滤色阵列（CFA），最常见的排列是RGGB（2x2单元中，左上为R，右上和左下为G，右下为B）。RAW数据的位深决定了每个像素的灰度级数：10bit提供1024级，12bit提供4096级，14bit提供16384级。位深越高，暗部细节越丰富，但数据量也线性增长——以1200万像素Sensor为例，10bit RAW约15MB，14bit则约21MB。
RAW数据在内存中的存储格式通常有两种：MIPI RAW（打包格式）和线性格式。MIPI RAW为了节省带宽，会将多个像素打包传输（如10bit数据每5个字节存4个像素），而ISP内部处理时通常解包为线性格式，每个像素占用16bit（高14位有效）。工程上需要注意：位深转换（如14bit转12bit）不能简单右移截断，而应使用抖动（Dithering）或噪声整形，否则会产生明显的带状伪影（Banding）。
4.2 坏点校正（DPC）：消除Sensor制造缺陷
坏点（Defect Pixel）是Sensor制造过程中不可避免的缺陷，表现为某些像素点对光的响应异常。坏点分为三类：亮点（Hot Pixel，始终输出高值）、暗点（Dead Pixel，始终输出低值或零）、闪烁点（Flicker Pixel，输出不稳定）。坏点如果不校正，会在图像上形成固定位置的亮斑或暗斑，严重影响画质。
4.2.1 坏点检测与校正原理
坏点校正分为静态校正和动态校正两种。静态校正依赖出厂标定，将已知坏点坐标存入OTP（One-Time Programmable）或系统Flash中，ISP直接读取并替换。动态校正则是在运行时实时检测：对每个像素，比较其与周围同色像素的差异，若差异超过设定阈值，则判定为坏点，并用邻域像素的中值或均值替换。
动态检测的经典算法是中值滤波法：取当前像素周围3x3或5x5窗口内同色像素，计算中值，若当前像素值与中值的差大于阈值，则用中值替换。更先进的算法会结合梯度方向，避免在图像边缘处误判。工程实现时，阈值需要根据Sensor的噪声水平动态调整——ISO越高，噪声越大，阈值应相应放宽。
4.2.2 工程实现与案例
在某安防摄像头项目中，我们遇到Sensor在高温下出现大量闪烁点的问题。初始方案仅使用静态坏点表，但高温下新产生的坏点无法覆盖。我们采用“静态表+动态检测”的混合方案：
- 静态表加载：从OTP读取出厂标定的坏点坐标，建立哈希表，命中后直接替换。
- 动态检测：对未命中静态表的像素，计算3x3窗口内同色像素的中值，设定阈值为当前噪声估计值的3倍。
- 时序优化：动态检测在ISP流水线中占用2行延迟（Line Buffer），需与后续模块协调。
结果：坏点导致的图像异常从平均15处降至0.5处以下，且未出现边缘误判。复盘经验：动态坏点检测的阈值必须与噪声估计联动，否则在低照度下会误伤正常像素。
4.3 黑电平校正（BLC）：还原“黑”
理想情况下，Sensor在无光照时输出应为0。但由于暗电流（Dark Current）的存在，Sensor在无光照时仍会输出一个非零的基底值，称为黑电平（Black Level）。黑电平的大小与温度、曝光时间、增益密切相关。如果不校正，图像暗部会发灰，且色彩会偏移（因为RGB三通道的暗电流不完全相同）。
4.3.1 黑电平的标定与校正方法
Sensor通常会在感光区域边缘预留若干行/列OB（Optical Black）像素，这些像素被金属遮挡，不接收光线。ISP通过读取OB区域的平均值，实时估计当前黑电平，然后从有效像素中减去该值。校正公式为：
// 伪代码：BLC校正
uint16_t blc_offset = calculate_ob_mean(ob_region); // 计算OB区域均值
uint16_t corrected_pixel = raw_pixel - blc_offset;
if (corrected_pixel < 0) corrected_pixel = 0; // 钳位到0工程上需要注意：OB区域均值需要滤波（如去除OB区域内的坏点后再平均），且要分通道（R/Gr/Gb/B）分别计算，因为不同通道的暗电流有差异。此外，黑电平会随增益变化——当模拟增益增大时，黑电平也会被放大，因此校正值需要乘以当前增益系数。
4.3.2 实战场景：低照度下的黑电平漂移
在低照度场景（如夜间监控）中，Sensor增益通常拉得很高（如24dB以上），此时黑电平漂移非常明显。某项目中，我们发现图像暗部偏绿，经排查是B通道的黑电平校正值偏小。原因是OB区域统计时未排除坏点，导致B通道OB均值被拉高。解决方案：
- 在OB区域统计前，先执行坏点剔除（与DPC联动）。
- 将OB均值计算改为中值滤波，而非简单平均，增强鲁棒性。
- 增加温度补偿表：在不同温度下标定黑电平，运行时根据Sensor温度查表修正。
4.4 镜头阴影校正（LSC）：补偿光学不均匀性
由于镜头的光学特性，Sensor边缘接收到的光强通常低于中心区域，这种现象称为镜头阴影（Lens Shading）或渐晕（Vignetting）。此外，不同波长的光在镜头中的折射角度不同，导致边缘区域还会出现色彩偏移（Color Shading）。LSC的目标就是补偿这种亮度与色彩的不均匀性。
4.4.1 增益网格与插值算法
LSC的经典实现是增益网格（Gain Grid）法：在标定阶段，拍摄均匀光源（如DNP灯箱），计算每个像素位置所需的补偿增益，然后下采样为一个稀疏网格（如17x13或33x25个网格点），每个网格点存储R/Gr/Gb/B四个通道的增益值。运行时，对每个像素，根据其坐标在网格中查找周围4个网格点，进行双线性插值，得到该像素的增益并相乘。
增益网格的尺寸选择需要权衡：网格过密，标定数据量大且占用存储；网格过疏，插值误差大，尤其在镜头边缘。一般建议网格间距为32~64像素。插值算法除了双线性，还可以使用双三次插值（Bicubic）以获得更平滑的过渡，但计算量增加。
4.4.2 标定流程与案例分析
在某手机摄像头项目中，我们发现LSC校正后边缘出现“网格状”伪影。分析原因：标定时的均匀光源亮度不均匀（灯箱边缘亮度偏低），导致标定出的增益网格本身带有误差。改进措施：
- 光源均匀性验证：使用积分球或经过校准的均匀光源，确保光源不均匀度<1%。
- 多帧平均：拍摄多帧（如16帧）取平均，消除随机噪声对标定结果的影响。
- 平滑后处理：对标定出的增益网格进行高斯平滑，去除异常值。
- 分色温标定：不同色温下，镜头阴影特性不同，需分别标定（如D65和A光源）。
改进后，边缘色彩偏移从ΔE=8降至ΔE=2以内，网格伪影完全消除。复盘经验：LSC标定的核心是“均匀光源”和“多帧平均”，任何光源不均匀都会直接转化为校正误差。
4.5 预处理模块的协同与工程总结
DPC、BLC、LSC三个模块在ISP流水线中通常按顺序执行：DPC → BLC → LSC。这个顺序有讲究：先做坏点校正，避免坏点影响BLC的OB统计和LSC的增益计算；再做BLC，将数据基底归零；最后做LSC，对亮度进行空间补偿。三个模块都涉及查找表（LUT）或网格数据的存储与读取，工程上需要合理规划DDR带宽和Cache命中率。
| 模块 | 输入 | 输出 | 关键参数 | 典型硬件开销 |
|---|---|---|---|---|
| DPC | RAW像素流 | 校正后RAW | 坏点表、阈值、窗口大小 | 2行Line Buffer + 比较器阵列 |
| BLC | RAW像素流 + OB区域 | 去黑电平RAW | OB均值、增益补偿系数 | OB统计模块 + 减法器 |
| LSC | RAW像素流 + 增益网格 | 亮度均匀RAW | 网格尺寸、插值系数、通道增益 | 网格存储（SRAM）+ 插值器 |
1. 先用测试图（如SFR图卡）确认RAW数据格式正确；
2. 关闭所有预处理模块，观察原始RAW的直方图和坏点分布；
3. 依次打开DPC、BLC、LSC，每打开一个模块就验证其效果，避免问题叠加；
4. 在极端场景（高温、低照度、强光源）下反复验证，确保预处理模块的鲁棒性。
预处理模块虽然原理相对简单，但工程实现中的细节决定了最终画质。掌握RAW格式的底层逻辑，理解每个校正模块的物理意义，是ISP工程师从“调参”走向“调优”的关键一步。