📚 课程目录第4章去马赛克（Demosaic）

4、去马赛克（Demosaic）：Bayer到RGB的插值算法、边缘导向插值、伪彩色抑制、常见artifact分析

好，咱们进入ISP管线里一个非常核心的环节——去马赛克。说白了，就是把传感器输出的Bayer RAW数据，变成我们肉眼能看的RGB全彩图像。

你想想看，每个像素点只记录了红、绿、蓝中的一种颜色，另外两种颜色去哪了？得靠猜。这个“猜”的过程，就是Demosaic。我刚开始做这行的时候，觉得不就是插值嘛，线性算算就完了。后来被各种伪彩色和锯齿折磨过之后，才明白这里面的水有多深。

  核心认知： Demosaic不是简单的数学插值，而是在“分辨率”和“伪彩色”之间找平衡。插值太简单，锯齿和伪彩满天飞；插值太复杂，计算量上去了，还可能把噪声放大。

4.1 Bayer模式与插值基础

先回顾一下Bayer模式。最常见的RGGB排列，绿色像素占一半，红蓝各占四分之一。为什么绿色多？因为人眼对绿色最敏感，这样设计能模拟人眼的亮度感知。

最简单的插值方法——双线性插值。比如要算一个红色像素位置的绿色值，就把上下左右四个绿色像素平均一下。代码实现很简单：

// 双线性插值示例（简化版）
// 假设输入Bayer图像，输出RGB图像
for (int y = 1; y < height - 1; y++) {
    for (int x = 1; x < width - 1; x++) {
        if (isRedPixel(x, y)) {
            // 红色像素位置，需要插值G和B
            G = (getGreen(x-1, y) + getGreen(x+1, y) + 
                 getGreen(x, y-1) + getGreen(x, y+1)) / 4;
            B = (getBlue(x-1, y-1) + getBlue(x+1, y-1) + 
                 getBlue(x-1, y+1) + getBlue(x+1, y+1)) / 4;
            R = getRed(x, y);
        }
        // ... 其他像素类似处理
    }
}

这个方法快是快，但问题也很明显。我在项目里遇到过，拍一张带有细密纹理的布料，结果图像上全是锯齿和彩色噪点。双线性插值完全不考虑边缘方向，一视同仁地平均，边缘就糊了。

4.2 边缘导向插值：让算法“看”方向

怎么改进？核心思路是：先判断当前像素附近有没有边缘，如果有，就沿着边缘方向插值，不要跨过边缘。

我常用的方法是基于色差恒定假设的边缘导向插值。原理很简单：在局部区域内，颜色之间的差值（比如G-R）变化比较平缓。利用这个特性，可以更准确地估计缺失的颜色。

具体步骤大致是这样：

计算水平和垂直方向的梯度：用相邻像素的差值来判断哪个方向更平滑。
选择插值方向：梯度小的方向就是边缘方向，优先沿这个方向插值。
利用色差修正：先插出绿色通道，再用绿色通道去修正红蓝通道。

举个例子，在红色像素位置插值绿色：

// 边缘导向插值核心逻辑
// 计算水平梯度
float grad_h = abs(getGreen(x-1, y) - getGreen(x+1, y)) + 
               abs(2 * getRed(x, y) - getRed(x-2, y) - getRed(x+2, y));
// 计算垂直梯度
float grad_v = abs(getGreen(x, y-1) - getGreen(x, y+1)) + 
               abs(2 * getRed(x, y) - getRed(x, y-2) - getRed(x, y+2));

if (grad_h < grad_v) {
    // 水平方向更平滑，沿水平插值
    G = (getGreen(x-1, y) + getGreen(x+1, y)) / 2 + 
        (2 * getRed(x, y) - getRed(x-2, y) - getRed(x+2, y)) / 4;
} else if (grad_v < grad_h) {
    // 垂直方向更平滑
    G = (getGreen(x, y-1) + getGreen(x, y+1)) / 2 + 
        (2 * getRed(x, y) - getRed(x, y-2) - getRed(x, y+2)) / 4;
} else {
    // 两个方向差不多，用双线性
    G = (getGreen(x-1, y) + getGreen(x+1, y) + 
         getGreen(x, y-1) + getGreen(x, y+1)) / 4;
}

你看，这里加了一个色差修正项。为什么要加？因为直接用绿色平均会丢失高频细节，加上红色通道的二次梯度修正，能恢复一部分边缘信息。

我的经验： 梯度计算时，除了用绿色通道，最好也把当前像素的颜色通道加进去。比如在红色位置，用红色通道的梯度辅助判断，能有效减少“拉链效应”（就是边缘上那种一明一暗的交替条纹）。

4.3 伪彩色抑制：别让不该出现的颜色冒出来

伪彩色是Demosaic最头疼的问题之一。明明拍的是黑白条纹，结果边缘处出现了红红绿绿的杂色。为什么会这样？

根本原因在于：不同颜色通道的采样位置不同，插值后相位没对齐。比如一个高频黑白条纹，红色和绿色通道插值出来的结果有相位差，一叠加就产生了彩色。

我常用的抑制方法有几种：

色差低通滤波：对色差信号（G-R, G-B）做低通滤波，因为伪彩色通常表现为高频色差变化。
自适应阈值：只在色差变化超过一定阈值时才做修正，避免平滑掉真实颜色。
后处理去伪彩：在RGB空间里，检测局部区域的色饱和度异常，然后做中值滤波或双边滤波。

我曾经在一个项目中，客户反馈说拍红色物体时边缘总有绿色镶边。查了半天，发现是Demosaic后伪彩色抑制参数没调好。后来把色差低通的强度从0.3调到0.5，问题就解决了。嗯，有时候就是这么微妙。

4.4 常见Artifact分析

做Demosaic调试，本质上就是在和各种artifact作斗争。我把最常见的几种列出来，方便你排查问题：

Artifact类型	表现	主要原因	解决方向
锯齿（Aliasing）	斜线边缘呈阶梯状	插值方向判断错误，或采样率不足	改进边缘检测算法，增加方向判断的精度
伪彩色（False Color）	边缘处出现红绿蓝杂色	各通道插值相位不匹配	色差低通滤波，自适应伪彩抑制
拉链效应（Zipper Effect）	边缘上明暗交替的条纹	插值过度依赖单一方向，或梯度计算不准确	引入色差修正项，增加梯度计算的鲁棒性
模糊（Blurring）	纹理细节丢失，图像发肉	插值算法过于平滑，或低通滤波过强	使用边缘导向插值，适当提升高频增强
摩尔纹（Moiré Pattern）	周期性纹理上出现彩色波纹	传感器采样频率与纹理频率接近，产生混叠	光学低通滤镜（OLPF），或算法级抗混叠

注意： 这些artifact往往是此消彼长的。你压了伪彩色，可能边缘就变模糊了；你锐化了边缘，锯齿又出来了。调试Demosaic参数，本质上是在多个目标之间找平衡点。没有完美的算法，只有最适合当前场景的配置。

4.5 知识结构总览

下面这张图把Demosaic的核心知识点串起来了。你可以把它当作调试时的检查清单：

这张图把Demosaic拆成了四个维度：插值算法是基础，边缘检测是方向，伪彩色抑制是修正，Artifact分析是验证。调试的时候，你可以对照这张图，看看问题出在哪个环节。

我个人习惯是先跑一遍基础的双线性插值，看看原始问题有多严重。然后逐步加入边缘导向、色差修正、伪彩抑制。每加一步，都要用测试图卡验证效果——尤其是斜线、星图、彩色条纹这些敏感场景。

嗯，Demosaic这块内容不少，但核心就一句话：让算法学会“看”方向，然后沿着方向小心地补全颜色。剩下的，就是调参和踩坑的功夫了。