第三章：图像预处理流水线——Bayer转RGB、自动白平衡与Gamma校正
各位同学，欢迎来到图像预处理的核心环节。这一章我们要啃的，是ISP（图像信号处理）流水线中最基础也最关键的三个模块。说白了，就是让摄像头“看”到的世界，更接近人眼真实感知的过程。
我刚开始做FPGA图像加速时，觉得这些算法不就是几个公式嘛，软件上跑跑就完了。直到真正在硬件上实现，才发现坑多得很。嗯，咱们一个一个来拆解。
3.1 从Bayer到RGB：还原世界的起点
大部分CMOS传感器输出的原始数据，是Bayer格式。它长什么样？每个像素只采集一种颜色分量——R、G、B，按特定模式排列。最常见的叫BGGR模式：
B G B G ...
G R G R ...
B G B G ...
G R G R ...为什么这样设计？因为人眼对绿色最敏感，所以绿色像素占了一半，红蓝各占四分之一。这个比例，你想想看，是不是很巧妙？
我们要做的，就是通过插值算法，把每个像素缺失的另外两个颜色分量补回来。最常用的方法叫双线性插值。
核心思路：对于目标像素，取它周围同色通道的像素值，按距离加权平均。
举个例子，要计算一个绿色像素位置上的红色分量：
// 伪代码：Bayer到RGB双线性插值
// 假设当前像素是G，位于(1,1)
// 周围R像素位置：(0,0), (0,2), (2,0), (2,2)
R_at_G = (R[0][0] + R[0][2] + R[2][0] + R[2][2]) / 4;我在项目中遇到过一个问题：直接用双线性插值，边缘会有明显的锯齿和伪彩色。后来我换用了边缘导向插值——先判断像素所在区域是水平边缘还是垂直边缘，再选择对应的方向做插值。效果立竿见影。
硬件实现小技巧：FPGA上做插值，建议用Line Buffer缓存三行数据。我习惯用FIFO实现，深度设成图像宽度即可。这样每个时钟周期都能输出一个RGB像素。
3.2 自动白平衡：让白色回归白色
你有没有发现，在日光灯下拍的照片偏绿，在白炽灯下偏黄？这是因为光源色温不同。自动白平衡（AWB）要做的，就是消除这种色偏，让白色物体在任何光源下都呈现白色。
最经典的算法是灰度世界法。它假设：一幅色彩丰富的图像，其R、G、B三个通道的平均值应该趋于相等。
// 灰度世界法实现
avgR = 所有像素R值之和 / 像素总数
avgG = 所有像素G值之和 / 像素总数
avgB = 所有像素B值之和 / 像素总数
// 计算增益
gainR = avgG / avgR
gainB = avgG / avgB
// 应用增益
R_out = R_in * gainR
B_out = B_in * gainB
G_out = G_in // 绿色通道保持不变听起来很简单对吧？但实际用起来有坑。我曾经在一个全是蓝色天空的场景里测试，灰度世界法直接把天空调成了灰色——因为它错误地认为蓝色偏多就是色偏。
避坑指南：我曾经在户外场景测试时，发现白平衡把蓝天变成了灰天。后来我加了一个色温统计模块，先判断当前场景的色温范围，再决定是否启用AWB。如果场景颜色单一，就降低增益强度。
在FPGA上实现时，我建议用滑动窗口统计局部色温，而不是全图统计。这样既能适应场景变化，又不会因为一帧数据没算完就输出错误结果。
3.3 Gamma校正：点亮暗部细节
人眼对暗部细节的敏感度远高于亮部。但摄像头传感器是线性响应的——这意味着暗部信息被压缩在很小的数值范围内，看起来黑乎乎一片。
Gamma校正就是做一个非线性映射：把暗部拉伸，亮部压缩。标准公式是：
V_out = V_in ^ (1 / gamma)其中gamma通常取2.2。但FPGA里做浮点运算太奢侈了，我们一般用查找表（LUT）来实现。
硬件实现方案：提前算好所有输入值对应的输出值，存到BRAM里。输入像素值作为地址，直接读出校正后的结果。一个时钟周期搞定。
// Gamma校正LUT生成（C语言伪代码）
for (i = 0; i < 256; i++) {
lut[i] = (uint8_t)(pow(i / 255.0, 1.0/2.2) * 255.0 + 0.5);
}这里有个细节要注意：如果输入是10-bit或12-bit的RAW数据，LUT的深度就是1024或4096。我建议用双端口BRAM，一个端口做查表，另一个端口可以动态更新Gamma值——这样系统可以自适应不同显示设备。
嗯，我记得有一次调试时发现图像整体偏暗，查了半天发现是Gamma LUT的地址位宽搞错了。10-bit数据只用了8-bit地址，高位被截断了。这种低级错误，说出来都是泪。
3.4 流水线整合：让三个模块协同工作
这三个模块在FPGA上通常是级联的：Bayer转RGB → 自动白平衡 → Gamma校正。每个模块之间用FIFO缓冲，保证数据流不中断。
下面是我画的一个流水线结构图，你可以直观地看到数据是怎么流动的：
你看，整个流水线是单向的、无反馈的。这非常适合FPGA实现——每个模块只依赖前一级的输出，没有复杂的握手协议。只要保证FIFO不空也不满，数据就能一直流下去。
我的个人习惯：在调试阶段，我会在每个模块的输入输出都挂上ILA（集成逻辑分析仪）探针。这样一旦图像出现异常，可以快速定位是哪个模块出了问题。别问我怎么知道的——问就是吃过亏。
最后说一句，这三个模块虽然基础，但它们是整个ISP流水线的基石。你想想看，如果Bayer转RGB做不好，后面的白平衡和Gamma校正都是在错误的数据上做文章，效果能好吗？所以，打好基础，比什么都重要。