3、去马赛克算法：Bayer格式详解、双线性插值、边缘导向插值、自适应去马赛克
各位好，欢迎来到第三章。今天聊的话题，是 ISP 流水线里最基础也最绕不开的一步——去马赛克。
你想想看，CMOS 传感器天生是色盲，每个像素只能感知一种颜色。为了拿到全彩图，就得靠算法把缺失的另外两个颜色猜出来。这个“猜”的过程，就是去马赛克。做得好，画面干净锐利；做得不好，伪彩和锯齿会让你怀疑人生。
核心认知：去马赛克不是简单的“补点”，而是在已知的稀疏采样上重建连续的颜色信号。插值方向选错了，边缘就糊了；权重算偏了，彩色噪点就冒出来了。
3.1 Bayer 格式——传感器的“方言”
Bayer 格式是单传感器彩色成像的事实标准。它用一个 2×2 的滤色器阵列，让 R、G、B 像素交错排列。为什么绿色占一半？因为人眼对绿色最敏感，传感器也把最多的资源留给了 G 通道。
| Bayer 模式 | 排列方式 | 常见场景 |
|---|---|---|
| RGGB | 第一行 R G R G…，第二行 G B G B… | 最主流，索尼、三星多数传感器 |
| BGGR | 第一行 B G B G…，第二行 G R G R… | 部分 Omnivision 传感器 |
| GRBG | 第一行 G R G R…，第二行 B G B G… | 某些安防相机 |
我个人习惯把 Bayer 数据看作一张“半成品”图。每个像素只有 8bit 或 10bit 的单色值，但相邻像素之间藏着丰富的相关性。去马赛克的任务，就是利用这些相关性把缺失值补回来。
小技巧：拿到 raw 图后，先看一眼 Bayer 排列。用 OpenCV 的 cv2.COLOR_BayerBG2BGR 之类的枚举值，或者直接读 sensor 的 datasheet。搞错了排列，出来的颜色会完全乱掉——我踩过这个坑。
3.2 双线性插值——最朴素的解法
双线性插值的思路很简单：每个缺失的像素值，用周围同色通道的已知像素做加权平均。权重由距离决定，越近贡献越大。
举个例子，在 RGGB 模式下，G 通道的缺失点（比如 R 位置上的 G 值）就用上下左右四个 G 像素平均。R 和 B 通道同理，只不过采样密度更低，需要更大的窗口。
// 伪代码：双线性插值 G 通道
// 假设当前像素是 R 位置 (i, j)
G_at_R = (G[i-1][j] + G[i+1][j] + G[i][j-1] + G[i][j+1]) / 4
// B 通道的 R 位置，需要对角四个 B 像素
B_at_R = (B[i-1][j-1] + B[i-1][j+1] + B[i+1][j-1] + B[i+1][j+1]) / 4
这个方法的好处是快，计算量小，硬件实现也简单。但缺点很明显——它假设图像是局部平滑的，遇到边缘就露馅了。你会看到边缘处出现明显的锯齿和伪色，尤其是文字和细线条。
注意：双线性插值在平坦区域表现尚可，但一旦图像包含高频细节（比如头发丝、栅栏），结果会惨不忍睹。我建议只把它当作 baseline，或者用在低功耗的嵌入式设备上。
3.3 边缘导向插值——让算法“看见”边缘
既然双线性插值不分方向，那我们就给它一双眼睛——先判断边缘方向，再沿着边缘插值，而不是跨过边缘。
边缘导向插值的核心思想：计算水平和垂直方向的梯度，梯度小的方向就是边缘方向。然后只沿着那个方向取像素做平均。
// 伪代码：边缘导向插值 G 通道
// 计算水平和垂直梯度
delta_h = abs(G[i][j-1] - G[i][j+1])
delta_v = abs(G[i-1][j] - G[i+1][j])
if (delta_h < delta_v) {
// 水平边缘，用左右像素
G_at_R = (G[i][j-1] + G[i][j+1]) / 2
} else if (delta_v < delta_h) {
// 垂直边缘，用上下像素
G_at_R = (G[i-1][j] + G[i+1][j]) / 2
} else {
// 平坦区域，用四个方向平均
G_at_R = (G[i-1][j] + G[i+1][j] + G[i][j-1] + G[i][j+1]) / 4
}
我在项目中遇到过一个问题：梯度计算只用了两个像素，噪声稍微大一点就会误判方向。后来我改成用 3×3 窗口内的多个像素计算梯度，稳定性好了很多。
经验之谈：边缘导向插值对文字和建筑边缘的改善非常明显。但要注意，它仍然假设边缘是严格水平或垂直的。45 度斜边怎么办？那就需要更复杂的自适应方法了。
3.4 自适应去马赛克——综合决策的艺术
自适应去马赛克不再满足于“二选一”，而是根据局部纹理特征，动态调整插值策略。它通常包含以下几个步骤：
- 初始 G 通道重建：用边缘导向插值先拿到完整的 G 图。
- 色差域修正：利用 G 通道和 R/B 通道的色差（R-G, B-G）平滑性，修正插值误差。
- R/B 通道重建：在色差域内做插值，而不是直接在原始域做。
- 后处理：去除残留的伪彩和锯齿。
为什么要在色差域做？因为 R-G 和 B-G 在局部区域变化缓慢，比原始 R 或 B 信号更平滑。插值误差在色差域里会被抑制，最终颜色更准确。
// 伪代码：色差域插值 R 通道
// 先计算已知 R 位置的色差
R_minus_G_known = R_known - G_at_R
// 对色差做双线性插值，得到所有位置的色差
R_minus_G_interp = bilinear_interp(R_minus_G_known)
// 最终 R = 色差 + G
R_final = R_minus_G_interp + G
关键洞察：自适应去马赛克的核心不是插值本身，而是“在哪插值”。色差域、对数域、甚至梯度域，选对了域，效果翻倍。我见过一些团队在原始域里死磕插值核，效果还不如简单的色差域方法。
3.5 三种方法对比
| 方法 | 计算量 | 边缘质量 | 伪彩抑制 | 适用场景 |
|---|---|---|---|---|
| 双线性插值 | 低 | 差（锯齿明显） | 差 | 低功耗、实时预览 |
| 边缘导向插值 | 中 | 中（水平/垂直边缘好） | 中 | 通用场景，性价比高 |
| 自适应去马赛克 | 高 | 好（斜边也处理） | 好 | 高端相机、专业成像 |
我曾经在一个安防项目里，为了在 30fps 下跑 4K 去马赛克，试过各种方法。最后选了边缘导向插值 + 轻量级色差修正，效果接近自适应方法，但计算量只有它的一半。嗯，工程上永远是 trade-off。
3.6 去马赛克流程总览
下面这张图概括了从 Bayer raw 到全彩图的完整流程，以及三种方法在流程中的位置。
3.7 避坑指南
我曾经踩过的坑：
- Bayer 排列搞错：有一次 sensor 文档写的是 RGGB，实际输出是 BGGR。结果整张图偏蓝，排查了两天才发现。后来我养成了习惯——先拍一张纯白画面，看 raw 数据里哪个通道值最高。
- 边缘方向误判：在纹理密集区域（比如草地），梯度计算会失效。我后来加了局部方差判断，方差大的区域降低边缘导向的权重。
- 色差域溢出：R-G 可能为负值，如果直接做插值再转回 RGB，可能产生超出 [0, 255] 的值。记得做 clamp。
3.8 小结
去马赛克是 ISP 里“小算法、大影响”的典型。双线性插值让你快速看到结果，边缘导向插值让你看到进步，自适应方法让你看到专业。但无论选哪种，理解 Bayer 格式和色差域是基本功。
我个人建议：项目初期先用边缘导向插值快速出图，后期再根据画质瓶颈决定是否上自适应方法。别一上来就追求最复杂的方案——你想想看，算法越复杂，调试和硬件化的成本也越高。