第三章 去马赛克与色彩重建：从Bayer到RGB
各位做安防监控的同行，今天我们来聊聊ISP Pipeline里最基础也最容易被低估的一环——Demosaic。说白了，就是把传感器拍到的Bayer原始数据，变成我们肉眼看着舒服的彩色图像。
我刚开始接触ISP时，觉得Demosaic不就是插值嘛，随便搞搞就行。直到有一次在低照度场景下，画面边缘全是彩色锯齿，客户直接退货。嗯，从那以后我再也不敢小看这一步了。
3.1 Bayer格式：传感器的“色盲”真相
先说说为什么要有Bayer格式。CMOS传感器本身是“色盲”的——每个像素只能感知光的强度，分不清颜色。所以我们在传感器表面盖了一层彩色滤光片阵列（CFA），让每个像素只通过一种颜色。
最常见的Bayer模式是RGGB，也就是一个像素感知红色，两个像素感知绿色，一个像素感知蓝色。为什么绿色多一倍？因为人眼对绿色最敏感，安防监控里绿色通道的噪声也最影响主观画质。
| Bayer模式 | 排列方式 | 常见应用 |
|---|---|---|
| RGGB | R G / G B | 主流安防传感器 |
| BGGR | B G / G R | 部分索尼传感器 |
| GRBG | G R / B G | 三星、OV传感器 |
我个人习惯在调优前先确认Bayer排列顺序，搞反了的话，整张图会偏色到离谱。曾经有个项目，产线反馈图像全是紫色的，查了两天才发现是Bayer顺序配置错了。
3.2 从Bayer到RGB：插值的本质
Demosaic的核心任务，就是为每个像素补全缺失的两个颜色通道。比如一个R像素，我们需要算出它位置的G值和B值。
最简单的做法是双线性插值——取周围相邻像素的平均值。但这样做的问题很明显：边缘会模糊，而且会产生彩色伪影。
关键指标：Demosaic算法的好坏，直接影响MTF（调制传递函数）和伪彩色水平。安防监控里，边缘清晰度比色彩准确度更重要。
3.3 边缘导向插值算法：我的首选方案
我在项目中用过很多Demosaic算法，最后稳定下来的是边缘导向插值。说白了，就是先判断当前像素是在边缘上还是在平坦区域，然后选择不同的插值方向。
为什么这么做？你想想看，如果沿着边缘方向插值，就不会跨过边缘，也就不会产生模糊和伪彩色。如果垂直于边缘插值，那就会把边缘两侧的颜色混在一起，画面就糊了。
具体实现分三步：
- 计算梯度：在水平和垂直方向分别计算亮度梯度
- 判断方向：梯度小的方向就是边缘方向
- 定向插值：沿着边缘方向做插值
// 边缘导向插值伪代码（绿色通道）
// 以R像素位置为例，需要插值G值
// 1. 计算水平和垂直梯度
grad_h = |G_left - G_right|
grad_v = |G_up - G_down|
// 2. 判断边缘方向
if (grad_h < grad_v) {
// 水平边缘，沿水平方向插值
G = (G_left + G_right) / 2
} else if (grad_v < grad_h) {
// 垂直边缘，沿垂直方向插值
G = (G_up + G_down) / 2
} else {
// 平坦区域，用四邻域平均
G = (G_left + G_right + G_up + G_down) / 4
}
这段代码看着简单，但实际调优时有很多坑。我曾经在边缘检测的阈值上纠结了很久——阈值设得太低，平坦区域也会被当成边缘，产生纹理噪声；阈值设得太高，边缘又会被当成平坦区域，照样模糊。
我的经验：梯度阈值建议根据传感器噪声水平动态调整。低照度下噪声大，阈值要适当提高，避免把噪声误判为边缘。
3.4 伪彩色抑制：安防监控的必修课
伪彩色是Demosaic最头疼的问题。说白了，就是在图像的高频区域（比如文字边缘、栏杆、电线），出现不该有的彩色条纹或色块。
为什么会这样？因为插值算法在边缘处会引入颜色通道之间的相位差。比如一个黑白边缘，R、G、B三个通道的插值结果在空间上错位了，就产生了彩色。
我常用的伪彩色抑制方法有三种：
- 色差恒定法：假设相邻像素的色差（R-G、B-G）变化缓慢，用色差来约束插值结果
- 后处理滤波：在Demosaic完成后，对色度通道做低通滤波
- 自适应阈值：在边缘区域降低色度增益，在平坦区域恢复正常
注意：后处理滤波虽然能抑制伪彩色，但也会降低色彩饱和度。安防监控里，人脸肤色和车牌颜色的还原度是硬指标，滤波强度要谨慎控制。
3.5 整体流程与调优要点
下面这张图是我自己整理的Demosaic调优流程，每次做新项目都会拿出来对照一遍。
调优时我一般按这个顺序来：先保证边缘清晰度，再处理伪彩色，最后微调色彩还原。不要一上来就追求完美色彩，边缘糊了什么都白搭。
3.6 实战避坑指南
最后分享几个我踩过的坑：
- Bayer顺序搞反：前面说过，产线配置错了整批货都废了。建议在初始化时加一个自检流程，用已知色卡验证Bayer顺序。
- 边缘方向误判：低照度下噪声大，梯度计算容易出错。我习惯在梯度计算前先做一层轻量级降噪，效果立竿见影。
- 伪彩色滤波过度：曾经为了消除伪彩色，把色度通道的滤波强度拉满，结果人脸肤色全变成灰的。后来改用自适应滤波，只在边缘区域做抑制。
- 忽略绿色通道：绿色通道占Bayer的一半，它的插值质量直接决定整体画质。我建议优先优化G通道的插值算法。
一句话总结：Demosaic不是简单的插值，而是边缘检测、方向判断、伪彩色抑制的综合博弈。安防监控里，边缘清晰度 > 色彩准确度 > 噪声水平，这个优先级别搞反了。