4、去马赛克（Demosaic）：Bayer到RGB的插值算法

说到去马赛克，我得先跟你聊聊一个有意思的事。我刚开始做ISP时，总觉得这步不就是插个值嘛，有啥难的？直到有一次在弱光场景下，拍出来的图像边缘全是彩色锯齿，客户直接打回来重做。嗯，从那以后我再也不敢小看Demosaic了。

说白了，去马赛克就是从Bayer阵列恢复出完整RGB图像的过程。每个像素只采集一种颜色，另外两种颜色要靠周围像素猜出来。怎么猜得准，就是这门学问的核心。

4.1 Bayer阵列与色彩采样

先回顾一下Bayer阵列的布局。最常见的RGGB模式，绿色像素占一半，红蓝各占四分之一。为什么绿色多？因为人眼对绿色最敏感，这个设计本身就是个聪明的妥协。

每个像素需要恢复两个缺失的颜色通道。你想想看，如果直接平均周围像素，边缘处肯定糊成一片。这就是为什么我们需要从简单到复杂的各种插值策略。

4.2 双线性插值：最朴素的方案

双线性插值是最基础的方法。我习惯把它当作性能基准线——任何新算法都要先跟它比，如果提升不大，那就不值得上。

做法很简单：缺失的颜色值用周围最近邻的同类像素做加权平均。比如在R像素位置插值G值，就用上下左右四个G像素的平均。

// 双线性插值示例 - 在R位置插值G
// 假设Bayer模式为RGGB
// 当前像素位置 (i,j) 是R通道

// 取上下左右四个G像素
G_up    = raw[i-1][j];
G_down  = raw[i+1][j];
G_left  = raw[i][j-1];
G_right = raw[i][j+1];

// 平均得到G值
G_at_R = (G_up + G_down + G_left + G_right) / 4;

4.3 边缘导向插值：更聪明的选择

既然双线性不分方向地平均，那我们就加个方向判断。边缘导向插值的核心思想是：沿着边缘方向插值，不要跨过边缘。

具体怎么做？先计算水平和垂直方向的梯度，梯度小的方向说明更平滑，就沿着那个方向插值。

// 边缘导向插值 - 在R位置插值G
// 计算水平和垂直梯度
grad_h = abs(raw[i][j-1] - raw[i][j+1]);
grad_v = abs(raw[i-1][j] - raw[i+1][j]);

if (grad_h < grad_v) {
    // 水平方向更平滑，用水平方向的两个G平均
    G_at_R = (raw[i][j-1] + raw[i][j+1]) / 2;
} else if (grad_v < grad_h) {
    // 垂直方向更平滑，用垂直方向的两个G平均
    G_at_R = (raw[i-1][j] + raw[i+1][j]) / 2;
} else {
    // 梯度相近，用四个方向平均
    G_at_R = (raw[i-1][j] + raw[i+1][j] + raw[i][j-1] + raw[i][j+1]) / 4;
}

我在项目中实测过，边缘导向插值比双线性能减少约40%的伪彩色。但要注意，梯度计算本身对噪声敏感。如果图像噪声大，梯度方向会乱跳，反而引入更多 artifacts。

4.4 基于色差恒定的高级插值

这里有个重要的观察：在自然图像中，R-G和B-G的色差在局部区域变化很慢。这就是色差恒定假设。利用这个假设，可以大幅提升插值精度。

具体流程分两步：

1. 先插值G通道：用边缘导向或更复杂的方法得到完整的G平面
2. 再恢复R/B通道：利用色差恒定，在已知R/B位置计算色差，然后插值色差，最后反推R/B值

// 色差恒定法 - 在R位置恢复B值
// 第一步：已经得到完整的G平面
// 第二步：在B位置计算色差 Kb = B - G
// 第三步：插值Kb到R位置
// 第四步：B_at_R = G_at_R + Kb_interp

// 示例：在R位置(2,2)插值B
// 周围四个B位置的色差
Kb_tl = raw[1][1] - G[1][1];  // B位置(1,1)
Kb_tr = raw[1][3] - G[1][3];  // B位置(1,3)
Kb_bl = raw[3][1] - G[3][1];  // B位置(3,1)
Kb_br = raw[3][3] - G[3][3];  // B位置(3,3)

// 插值色差
Kb_at_R = (Kb_tl + Kb_tr + Kb_bl + Kb_br) / 4;

// 恢复B值
B_at_R = G[2][2] + Kb_at_R;

色差恒定法在大多数场景下效果很好。但我得提醒你，在色彩剧烈变化的边缘（比如红绿交界处），色差恒定假设会失效。这时候需要自适应调整权重。

4.5 AI去马赛克：数据驱动的革命

这几年AI去马赛克发展很快。我去年在一个高端手机项目里试过，效果确实惊艳。AI方法的核心是用大量成对的Bayer-RGB数据训练神经网络，让网络学会从Bayer直接映射到RGB。

主流架构包括：

• CNN-based：用卷积层提取局部特征，端到端学习映射关系
• Residual learning：学习Bayer到RGB的残差，收敛更快
• Attention机制：让网络关注边缘和纹理区域，提升细节还原

但AI去马赛克也有坑。我遇到过的问题是：训练数据大多是高质量图像，一旦遇到训练集里没见过的噪声模式或镜头畸变，AI模型会输出各种奇怪的纹理。所以实际部署时，一定要做数据增强和域适应。

4.6 三种方法的对比与选型

选型时我一般遵循这个原则：算力允许的情况下，优先用色差恒定法+边缘导向的组合。AI虽然效果好，但功耗和延迟是硬伤。如果芯片有NPU加速，那AI方案值得一试。

4.7 去马赛克的知识体系

下面这张图总结了去马赛克的核心脉络，从输入到输出，三种方法的技术路线一目了然。

去马赛克是整个ISP pipeline的基石。这一步做不好，后面的白平衡、去噪、锐化都会放大问题。我个人建议，在项目初期就把Demosaic的选型和调优放在优先位置，花时间把基础打牢，后面会省很多事。