📚 课程目录第1章课程导论

1、课程导论：多帧融合与HDR在AI ISP中的角色与价值

各位同学好。我是这个系列课程的主讲，在图像信号处理这个领域摸爬滚打了十几年。今天咱们开始第一讲，先聊聊多帧融合和HDR到底在AI ISP里扮演什么角色。

说实话，我刚入行那会儿，手机拍照还停留在“能拍清楚就行”的阶段。那时候的ISP，说白了就是一套固定的流水线——去噪、插值、色彩校正，参数都是调死的。但这些年，大家手里的手机越拍越惊艳，夜景能看清月亮，逆光能拍出人脸，这背后靠的是什么？

我个人习惯把这件事拆成两个层面来看：硬件传感器的物理极限和算法对信息的重构能力。传感器就那么点大，进光量有限，动态范围也有限。你想想看，单帧图像能承载的信息量是有天花板的。那怎么突破这个天花板？答案就是——多帧融合和HDR。

核心观点：多帧融合解决的是“信噪比不足”的问题，HDR解决的是“动态范围不够”的问题。两者结合，再加上AI的加持，才让今天的移动影像有了质的飞跃。

多帧融合这个概念，其实并不新鲜。早些年单反相机就有连拍合成降噪的功能。但真正把它做到手机里，并且做到实时、低功耗，是最近五六年的事。

我记得2018年参与过一个项目，客户要求在暗光下把ISO推到6400还能出片。单帧拍出来全是噪点，根本没法看。后来我们用了4帧合成，信噪比提升了差不多6dB，效果才勉强能接受。但那时候的算法还很粗糙，对齐不准，运动物体容易重影。

现在有了AI，情况完全不一样了。AI可以做更精细的运动估计，可以区分哪些区域是噪声、哪些是纹理，甚至可以“脑补”出被遮挡的细节。

多帧融合的核心流程，我习惯用下面这张图来概括：

你看，这个流程里每一步都有AI的用武之地。传统方法用SIFT做对齐，用帧差法做运动检测，用固定权重做融合。现在呢？AI可以端到端地学习——输入多帧噪声图，直接输出一张干净的高质量图像。

HDR（高动态范围）这个概念，大家应该都不陌生。手机拍照模式里那个“HDR”开关，就是它。但你真的理解它解决了什么问题吗？

我举个例子。你站在窗边拍人像，窗外是蓝天白云，室内是人物。单帧拍下来，要么人脸死黑，要么窗外一片惨白。为什么？因为传感器的动态范围只有60-70dB，而真实场景的动态范围可能超过120dB。你想想看，差了将近一倍，怎么可能一帧搞定？

HDR的思路很简单：拍多帧，每帧用不同的曝光时间。短曝光的帧保留亮部细节，长曝光的帧保留暗部细节，然后合成一张。

但这里有个坑——运动物体。你拍三帧，中间如果有人动了一下，合成出来就会出现鬼影。我曾经在一个项目中遇到过这种情况：拍夜景人像，人物稍微晃了一下，结果合成出来脸上多了一个半透明的“分身”，被客户骂惨了。

避坑指南：HDR合成中的运动补偿是重中之重。传统方法用中值滤波或加权平均来抑制鬼影，效果有限。AI方法可以逐像素预测运动概率，只在静态区域做HDR融合，运动区域则选择单帧曝光最优的像素。这个思路，我们后面会专门用一节课来讲。

好，现在问题来了。多帧融合和HDR都不是新概念，传统ISP也能做。为什么非要加上AI？

我个人觉得，核心原因有两点：

说白了，AI ISP不是要推翻传统ISP，而是在传统ISP的框架上，用AI替换掉那些“手工调参”的模块。比如：

我的建议：不要试图用AI替代整个ISP流水线。更好的做法是“AI+传统”混合架构——AI做最难的决策部分，传统模块做确定性强的计算部分。这样既保证了效果，又控制了功耗和延迟。

最后，我用一张图来总结多帧融合和HDR在AI ISP中的角色：

多帧融合负责把信号捞出来，HDR负责把动态范围撑开，AI负责让这一切做得更聪明、更鲁棒。三者缺一不可。