📚 课程目录第1章课程导论

1. 课程导论：什么是去马赛克、Bayer 模式原理、传统方法与深度学习方法对比

大家好，欢迎来到《深度学习去马赛克算法实战》的第一章。

先问一个问题：你手机拍的照片，真的是一步到位变成 RGB 彩图的吗？

其实不是。绝大多数数码相机和手机摄像头，传感器本身是「色盲」的——它只能感知光的强度，分不清红绿蓝。那彩色照片怎么来的？

这就引出了我们今天的主角：去马赛克（Demosaicing）。

去马赛克，说白了就是从单通道的原始传感器数据，重建出三通道彩色图像的过程。

我刚开始接触这个领域时，以为相机直接拍出来就是 RGB。后来拆了一台旧相机，看到传感器上那层彩色滤光片阵列，才恍然大悟——原来每个像素只记录一种颜色，剩下的两种颜色要靠算法「猜」出来。

这个「猜」的过程，就是去马赛克。

  核心定义： 去马赛克是从 Bayer 模式（或其他 CFA 模式）的原始 RAW 数据中，恢复出完整 RGB 彩色图像的计算过程。

最常见的彩色滤光片阵列（CFA）就是 Bayer 模式。它由 Bryce Bayer 在 1976 年发明，至今仍是主流。

Bayer 模式的排列规律很简单：

为什么绿色多一倍？你想想看，人眼在明视觉下对 550nm 左右的绿光最敏感。相机设计者当然要优先保证绿色通道的采样率。

下面这张图展示了标准的 Bayer 模式排列：

每个像素只记录一种颜色，那缺失的两种颜色怎么办？

举个例子：一个红色像素位置，我们需要猜出它的绿色值和蓝色值。这就是去马赛克算法要解决的问题。

早期去马赛克方法，基本就是各种插值技巧。

我最早接触的是最邻近插值——直接把相邻像素的值复制过来。效果嘛，一言难尽。彩色锯齿和伪影非常严重。

后来有了双线性插值、双三次插值，效果好了不少，但边缘还是糊的。

再后来，人们发现沿着边缘方向插值效果更好，于是有了边缘导向插值、自适应插值等方法。

传统方法的优缺点很明显：

避坑提醒： 我曾经在一个工业视觉项目中，直接用双线性插值做去马赛克，结果在细纹理区域出现了严重的摩尔纹。后来花了整整两天才排查出来——不是算法本身的问题，而是没有针对场景做预处理。记住：传统方法在平坦区域表现尚可，但在高频纹理和边缘处很容易翻车。

大约从 2015 年开始，深度学习开始进入图像复原领域。去马赛克自然也不例外。

为什么深度学习能做得更好？

传统方法本质上是「手工设计规则」——人观察 Bayer 模式，总结出插值规律，然后写成代码。但真实世界的图像太复杂了，手工规则很难覆盖所有情况。

深度学习的方法则是「让网络自己学」——给它大量 Bayer 模式→完整 RGB 的配对数据，网络自己总结出最优的映射关系。

我印象最深的是 2017 年的一篇，用残差网络做去马赛克，在 Kodak 数据集上把 PSNR 从传统方法的 38dB 左右直接推到了 42dB 以上。当时我就意识到，这个方向要变天了。

深度学习方法的核心优势：

我的建议： 在实际项目中，不要盲目追求深度学习。如果产品是低功耗嵌入式设备，传统方法经过优化也能达到不错的效果。如果是旗舰手机或专业相机，深度学习去马赛克已经是标配。选哪种，取决于你的硬件约束和质量要求。

这一章我们聊了三个核心问题：