ISP硬件架构基础：ISP内部模块划分与流水线设计
ISP（Image Signal Processor）说白了就是图像处理流水线。我做了这么多年ISP，见过不少团队一上来就堆算法，结果硬件跑不动，功耗压不住。其实，理解ISP的硬件架构才是第一步。
今天我们就来拆解ISP内部的核心模块，以及硬件流水线的设计原则。嗯，这部分内容，我个人觉得是ISP协同设计的基石。
ISP内部模块划分
一个典型的ISP流水线，通常包含以下关键模块。每个模块都有它的“脾气”，咱们一个一个说。
| 模块 | 缩写 | 核心功能 | 我踩过的坑 |
|---|---|---|---|
| 坏点校正 | DPC | 检测并修复Sensor上的死点/亮点 | 阈值设太严，好点被误杀 |
| 黑电平校正 | BLC | 消除Sensor暗电流带来的偏移 | 不同增益下BLC值不一样 |
| 镜头阴影校正 | LSC | 补偿镜头边缘亮度衰减 | 网格校准点不够密，边缘偏色 |
| 自动白平衡 | AWB | 还原场景真实色温 | 大面积单色场景容易跑偏 |
| 去马赛克 | Demosaic | 从Bayer阵列恢复全彩图像 | 边缘伪彩是老大难 |
| 色彩校正矩阵 | CCM | 校正Sensor光谱响应偏差 | 不同色温下CCM要切换 |
| Gamma校正 | Gamma | 亮度非线性映射，适配显示设备 | 暗部细节和对比度要平衡 |
| 降噪 | NR | 去除传感器和电路噪声 | 降噪太强，纹理全没了 |
| 锐化 | Sharpen | 增强图像边缘细节 | 过冲会产生光晕 |
模块详解与实战经验
1. DPC（坏点校正）
DPC是流水线的第一关。Sensor生产过程中难免有瑕疵，坏点如果不处理，后面所有模块都会放大它。我曾经在一个项目中，DPC阈值设得太激进，结果把正常的暗像素当坏点给替换了，导致图像出现“网格状”纹理。后来我学乖了，DPC的阈值一定要留余量，最好支持动态调整。
2. BLC（黑电平校正）
BLC看似简单，但坑不少。Sensor在无光条件下，像素依然会有电荷输出，这就是黑电平。不同增益下，黑电平值会漂移。我记得有一次，我们只校准了低增益下的BLC，结果高增益下暗部偏绿。嗯，从那以后，我要求BLC必须做多增益点校准。
3. LSC（镜头阴影校正）
LSC补偿的是镜头的光学特性。说白了，就是镜头中心亮、边缘暗。校正需要一张“增益网格图”。我建议网格的分辨率不要低于16x16，否则边缘容易出现“色块”。另外，LSC的增益值不能太大，否则会放大噪声。
4. AWB（自动白平衡）
AWB是ISP里最“玄学”的模块之一。它要猜出当前场景的色温。你想想看，如果场景里全是红色物体，AWB很容易误判。我个人的习惯是，AWB算法一定要结合统计信息，比如色温曲线和灰度世界假设，不能只靠单一方法。
5. Demosaic（去马赛克）
Bayer阵列每个像素只采集一种颜色，Demosaic的任务就是猜出缺失的两种颜色。这个模块最容易产生“伪彩”和“拉链效应”。我在项目中用过双线性插值、边缘导向插值，甚至深度学习方案。说实话，硬件实现时，边缘导向插值性价比最高。
6. CCM（色彩校正矩阵）
CCM是一个3x3矩阵，用来把Sensor的原始色彩空间映射到标准色彩空间。不同色温下，CCM系数不一样。我曾经犯过一个错误：只用D65光源下的CCM，结果在室内暖光下，人脸偏黄。后来我加了多组CCM，根据AWB结果动态切换。
7. Gamma校正
Gamma校正本质上是幂律变换。人眼对暗部变化更敏感，所以Gamma曲线在暗部斜率大、亮部斜率小。这里要注意：Gamma校正会放大暗部噪声。所以，我通常建议在Gamma之前做降噪。
8. NR（降噪）
降噪是ISP里最吃算力的模块。空域降噪（如双边滤波）效果好，但硬件开销大；时域降噪利用帧间信息，但容易产生拖影。我的经验是：低光场景用强时域降噪，正常光照用空域降噪，两者结合效果最好。
9. Sharpen（锐化）
锐化通过增强高频分量来提升清晰度。但锐化过度会产生“光晕”和“振铃”。我建议锐化强度与噪声水平联动：噪声高时降低锐化强度，避免噪声被放大。
硬件流水线设计原则
ISP硬件流水线设计，说白了就是“在面积、功耗、带宽和延迟之间找平衡”。我总结了几个核心原则：
- 模块化与可配置性：每个模块独立，支持旁路（bypass）。调试时，可以单独开关某个模块，快速定位问题。
- 流水线深度与延迟：流水线越深，吞吐量越高，但延迟也越大。对于拍照场景，延迟可以容忍；对于预览或视频，延迟必须控制在一帧以内。
- 数据复用与带宽优化：ISP处理的是高带宽数据。我建议尽量使用Line Buffer（行缓冲）而不是Frame Buffer（帧缓冲），减少DDR访问。
- 定点化与精度控制：硬件实现必须用定点数。每个模块的位宽要仔细权衡：位宽不够会损失精度，位宽太宽浪费面积。
- 同步与握手：模块之间用valid-ready握手协议。防止数据溢出或断流。
核心观点：ISP流水线不是简单地把模块串起来。每个模块的输入输出格式、位宽、时序都要对齐。我曾经见过一个项目，Demosaic输出是12bit，但CCM只支持10bit，结果数据截断导致偏色。这种低级错误，设计阶段就该避免。
ISP流水线结构图
下面这张图展示了一个典型的ISP硬件流水线结构。我特意把数据流和控制流分开画，方便你理解。
设计小技巧：在硬件实现时，我建议把DPC、BLC、LSC放在同一个时钟域，因为它们处理的是RAW数据，位宽一致。Demosaic和CCM可以放在另一个时钟域，因为Demosaic输出是RGB，位宽可能变化。跨时钟域处理要用异步FIFO，防止数据丢失。
流水线设计中的常见陷阱
- 陷阱一：模块间位宽不匹配。比如Demosaic输出12bit，CCM输入10bit，直接截断会导致精度损失。我建议所有模块统一位宽，或者用可配置的截断/舍入逻辑。
- 陷阱二：Line Buffer深度不够。Demosaic需要多行数据，如果Line Buffer深度不够，会导致数据断流。我曾经算错过行数，结果图像出现“撕裂”。
- 陷阱三：控制通路与数据通路时序错位。寄存器配置更新后，数据流可能还在流水线中。我建议用“影子寄存器”+“同步加载”机制，确保配置生效时数据流已经清空。
警告：千万不要在流水线中间插入“全局复位”。复位信号会清空所有寄存器，导致正在处理的数据丢失。正确的做法是：先停止输入，等流水线排空，再复位。
总结
ISP硬件架构设计，说白了就是“分而治之”。每个模块做好自己的事，模块之间定义好接口，流水线自然就通了。我个人觉得，设计阶段多花时间做仿真和验证，比后期在芯片上调试要高效得多。
嗯，ISP硬件架构这块，今天就聊到这儿。记住：模块划分要清晰，流水线设计要留余量，控制通路要可靠。做到这三点，你的ISP硬件架构就稳了。