第3章：RAW域去马赛克——从双线性到AI的演进之路

各位好，欢迎来到RAW域处理最核心的一环——去马赛克。

说实话，我刚入行时觉得这步很简单。不就是把缺失的RGB值补上吗？直到我亲眼看到一张满是彩色锯齿的夜景照片，才意识到这里面的门道有多深。

去马赛克，说白了就是利用Bayer阵列中每个像素只采集一种颜色的特性，通过周围像素推断出缺失的另外两种颜色。你想想看，一个2000万像素的传感器，真正采集到的原始数据其实只有500万个红色、500万个蓝色、1000万个绿色。剩下的1500万个颜色值，全靠算法“猜”出来。

这一章，我会带你从最简单的双线性插值开始，一路走到边缘导向、自适应，最后聊聊AI方案。每种方法我都踩过坑，咱们边讲边聊。

3.1 双线性插值：最朴素的解法

双线性插值是去马赛克的“Hello World”。思路很直白：用相邻同色像素的平均值来填补缺失值。

以绿色通道为例，在Bayer阵列的R位置（红色像素），缺失的G值取上下左右四个G像素的平均：

G_at_R = (G_up + G_down + G_left + G_right) / 4

在B位置同理。对于R和B通道，情况稍微不同——在G位置，R和B的邻居是斜对角，取四个对角像素平均即可。

我当年第一次实现这个算法，跑出来的图像怎么说呢……远看还行，近看全是锯齿和伪色。尤其在文字边缘和细线条上，彩色条纹像彩虹一样散开。

不过别小看它。双线性插值是所有高级算法的基础。你理解了它，后面边缘导向和自适应算法就是在这个框架上做优化。

3.2 边缘导向插值：让算法“看见”方向

双线性插值为什么效果差？因为它不分方向。图像边缘是有走向的，沿着边缘插值不会破坏边缘，垂直边缘插值才会造成模糊。

边缘导向插值的思路就是：先判断当前像素所在区域的边缘方向，然后只沿着边缘方向做插值。

具体做法是计算水平和垂直两个方向的梯度：

Gradient_H = |G_left - G_right|
Gradient_V = |G_up - G_down|

if Gradient_H < Gradient_V:
    // 水平方向更平滑，用水平邻居插值
    G = (G_left + G_right) / 2
else if Gradient_V < Gradient_H:
    // 垂直方向更平滑，用垂直邻居插值
    G = (G_up + G_down) / 2
else:
    // 两个方向差不多，用四邻域平均
    G = (G_up + G_down + G_left + G_right) / 4

我在项目中用过这个算法处理印刷品扫描。文字边缘的彩色锯齿明显减少了，但遇到斜线或纹理复杂的区域，还是会翻车。为什么？因为梯度判断只用了两个方向，45度和135度方向完全没考虑。

3.3 自适应插值算法：动态调整权重

边缘导向插值的问题是“非此即彼”——要么水平，要么垂直。真实图像哪有这么简单？

自适应插值算法的核心思想是：不硬选方向，而是根据局部纹理特征，给每个方向的像素分配不同的权重。

我常用的一个自适应方案是这样的：

1. 计算当前像素周围5x5窗口内各方向的梯度
2. 将梯度值映射为权重（梯度越小，权重越大）
3. 用加权平均代替简单平均

// 伪代码示例：自适应绿色通道插值
weight_H = 1.0 / (Gradient_H + epsilon)
weight_V = 1.0 / (Gradient_V + epsilon)
weight_D45 = 1.0 / (Gradient_D45 + epsilon)
weight_D135 = 1.0 / (Gradient_D135 + epsilon)

// 归一化
total = weight_H + weight_V + weight_D45 + weight_D135
G = (weight_H * G_H + weight_V * G_V + 
     weight_D45 * G_D45 + weight_D135 * G_D135) / total

这里epsilon是个小常数，防止除零。权重计算还可以用高斯函数或指数函数，效果更好但计算量也更大。

我曾经在一个手机摄像头项目里用自适应插值替代了原来的边缘导向方案。同样的硬件，PSNR提升了2-3dB，伪色面积减少了约40%。代价是每帧处理时间多了0.5ms——在移动端这是个不小的开销。

3.4 AI去马赛克：数据驱动的革命

传统方法再优化，也逃不过一个天花板——它们都是基于手工设计的特征和规则。遇到训练集里没见过的场景，表现就会打折扣。

AI去马赛克，尤其是基于卷积神经网络（CNN）的方法，这几年把PSNR的纪录刷了一遍又一遍。核心思路很简单：用大量成对的RAW图和真值图训练一个端到端的网络，让网络自己学习从Bayer到RGB的映射。

典型的网络结构包括：

• 输入层：将Bayer数据打包成4通道（R、G1、G2、B）或直接输入原始排列
• 特征提取层：若干卷积层+ReLU，提取局部纹理特征
• 重建层：反卷积或亚像素卷积，输出全分辨率RGB
• 损失函数：L1/L2损失 + 感知损失 + 对抗损失（可选）

我去年参与过一个项目，用轻量级UNet做去马赛克，模型大小只有200KB，在手机NPU上跑4K分辨率只需要3ms。效果比最好的自适应算法还要好一个档次。

但AI方案也不是万能药：

对比维度	传统算法	AI算法
PSNR（典型值）	35-40 dB	40-45 dB
计算量	低（0.1-1 GFLOPS）	高（10-100 GFLOPS）
泛化能力	稳定，但上限低	依赖训练数据，可能过拟合
部署难度	低，纯CPU可跑	需要GPU/NPU，模型转换麻烦
可解释性	高，每步可追溯	低，黑盒

我个人建议：如果产品对功耗和成本敏感，用自适应插值就够了。如果追求极致画质且有AI加速硬件，大胆上AI方案。

3.5 四种算法对比总览

下面这张图总结了四种算法的核心逻辑和适用场景：

从图中可以清楚看到：质量在提升，计算量也在涨。没有银弹，只有trade-off。

3.6 实战建议与避坑指南

最后，分享几个我在项目中积累的经验：