3、去马赛克算法：Bayer插值原理、双线性插值、边缘导向插值、自适应插值、AI去马赛克

好，咱们进入第三章。去马赛克，英文叫 Demosaicing，是 ISP 流水线里最基础也最关键的环节之一。说白了，就是从 Bayer 格式的原始数据里，把每个像素缺失的两个颜色通道给“猜”出来，还原成完整的 RGB 图像。

我刚开始接触 ISP 时，觉得这步不就是个插值嘛，随便填填就行。后来被一个项目狠狠教育了——在低照度场景下，双线性插值出来的图像全是彩色锯齿和伪影，客户直接打回。嗯，从那以后我再也不敢小看这个模块了。

3.1 Bayer 格式与插值原理

先回顾一下 Bayer 格式。CMOS 传感器每个像素只能感光一种颜色，通过红绿蓝三色滤光片按特定模式排列。最常见的 BGGR 模式长这样：

R	G	R	G
G	B	G	B
R	G	R	G
G	B	G	B

每个像素只记录一个通道，另外两个通道需要从邻域推算。去马赛克的核心假设是：相邻像素的颜色变化是平滑的。这个假设在平坦区域成立，但在边缘和纹理区域就很容易翻车。

3.2 双线性插值

双线性插值是最简单的方法。对每个像素，直接用邻域内同色通道的平均值来填充缺失通道。

举个例子，在 R 像素位置要恢复 G 通道：

// 以 R 像素位置为例，恢复 G 通道
// 取上下左右四个 G 像素的平均值
G_at_R = (G_up + G_down + G_left + G_right) / 4

同理，在 G 像素位置恢复 R 和 B，在 B 像素位置恢复 R 和 G。代码实现非常简单，计算量也小。

但问题也很明显——它完全不考虑图像内容。遇到边缘时，会把边缘两侧的颜色混在一起，产生模糊和彩色伪影。我在一个 720p 的监控摄像头项目里试过，树杈边缘全是紫绿色的“拉链”，客户直接说“这画面像油画”。

3.3 边缘导向插值

既然双线性不分方向，那我们就加个方向判断。边缘导向插值的思路是：先检测边缘方向，再沿着边缘方向插值，避免跨边缘混色。

具体做法：

1. 计算水平和垂直方向的梯度。
2. 比较梯度大小，选择梯度较小的方向（即沿着边缘的方向）。
3. 只在该方向上取邻域像素做插值。

梯度计算示例：

// 在 R 像素位置判断边缘方向
// 水平梯度：左右 G 像素的差值
grad_h = abs(G_left - G_right)

// 垂直梯度：上下 G 像素的差值
grad_v = abs(G_up - G_down)

if (grad_h < grad_v) {
    // 水平方向更平滑，沿水平插值
    G_at_R = (G_left + G_right) / 2
} else {
    // 垂直方向更平滑，沿垂直插值
    G_at_R = (G_up + G_down) / 2
}

这个方法比双线性好不少，边缘清晰度明显提升。但有个坑——梯度计算只用了两个像素，噪声敏感度很高。在暗光场景下，梯度方向经常判断错误，反而引入新的伪影。

3.4 自适应插值

自适应插值可以理解为边缘导向的升级版。它不再只做二选一的方向判断，而是根据局部纹理特征，动态调整插值权重。

常见的自适应方法包括：

• 基于色差恒常性：假设 R-G 和 B-G 的差值在局部区域是平滑的。先插值 G 通道，再用 G 通道辅助恢复 R 和 B。
• 基于梯度加权：计算多个方向的梯度，用梯度倒数作为权重，做加权平均。
• 基于迭代优化：先做一次粗插值，然后根据结果修正，反复迭代。

我比较常用的是色差恒常性方法。核心公式：

// 第一步：插值 G 通道（用边缘导向或梯度加权）
G_at_R = interpolate_G(R_pos)

// 第二步：计算色差 R-G
delta_RG = R - G_at_R

// 第三步：对色差做低通滤波，得到平滑的色差
delta_RG_smooth = lowpass(delta_RG)

// 第四步：用平滑后的色差恢复 R 通道
R_recovered = G + delta_RG_smooth

这个方法利用了人眼对亮度变化敏感、对色度变化不敏感的特性。说白了，亮度细节靠 G 通道保，颜色细节靠色差平滑。效果比前两种好很多，伪影明显减少。

3.5 AI 去马赛克

近几年深度学习杀进了 ISP 领域，AI 去马赛克也成了热门方向。核心思路是用卷积神经网络（CNN）直接从 Bayer 数据端到端地恢复全彩图像。

典型的网络结构：

• 输入：Bayer 格式的 4 通道数据（R、G1、G2、B 分开）
• 骨干网络：U-Net 或 ResNet 风格的编解码结构
• 输出：3 通道 RGB 图像

训练时用大量成对的 Bayer-RGB 数据，损失函数通常用 L1 或 L2 加上感知损失。效果确实惊艳——在标准测试集上，AI 方法的 PSNR 比传统方法高 2-4dB，伪影几乎不可见。

但也不是没有代价：

维度	传统方法	AI 方法
计算量	低（~10 Mops/pixel）	高（~100 Gops/pixel）
内存占用	低（几 KB）	高（几 MB 到几十 MB）
硬件部署	简单（逻辑电路即可）	需要 NPU 或 GPU
泛化能力	稳定（数学确定）	依赖训练数据分布

3.6 方法对比与选型建议

我把四种方法的核心特点整理成一张表，方便你快速选型：

方法	画质	计算量	适用场景
双线性插值	低（伪影多）	极低	预览、低端设备
边缘导向插值	中（边缘尚可）	低	光照充足场景
自适应插值	高（伪影少）	中	通用场景，推荐首选
AI 去马赛克	极高（接近无损）	高	旗舰设备、有 NPU 的场景

我个人习惯是：量产项目首选自适应插值，画质和算力平衡得最好。如果芯片有 NPU 且功耗预算充足，再考虑 AI 方案。双线性？嗯，除非你做的是一次性玩具，否则别碰。

3.7 去马赛克流程总览

下面这张 SVG 图展示了从 Bayer 输入到 RGB 输出的完整流程，以及四种方法的定位：

从这张图可以看得很清楚：无论选哪种方法，最终目标都是把 Bayer 数据还原成全彩 RGB。区别在于精度和代价的取舍。