📚 课程目录第1章课程导论与行业背景

一、课程导论与行业背景：多帧合成与去雾技术的定义、应用场景与市场前景

多帧合成，说白了就是「用数量换质量」。

你想想看，单张照片能承载的信息是有限的。传感器就那么点大，光线一差，噪点就全冒出来了。多帧合成呢？连续拍好几张，甚至几十张，然后通过算法把这些帧里的有效信息「拼」到一起。

我个人习惯把多帧合成分成三类：

时域降噪：多张图取平均，噪点被抹平，细节保留。我在安防项目里遇到过，夜间监控画面全是雪花，单帧降噪把车牌都糊掉了，换成多帧合成后，车牌清晰度提升了至少两个档次。
超分辨率重建：利用多帧之间的亚像素位移，重建出更高分辨率的图像。手机摄影里用得最多，你拍完一张「4800万像素」的照片，其实背后可能是多张1200万像素合成的。
HDR合成：不同曝光度的帧合成，保留高光和暗部细节。这个大家应该不陌生，手机夜景模式基本都在用。

核心要点：多帧合成的本质是「信息融合」。每一帧都有噪声和模糊，但噪声是随机的，信号是相关的。多帧一平均，信噪比就上去了。

去雾，很多人以为是调高对比度、拉高饱和度。嗯，这里要注意——真正的去雾是基于物理模型的。

雾天成像的退化过程，可以用大气散射模型来描述：

I(x) = J(x) * t(x) + A * (1 - t(x))

其中：

去雾算法的目标，就是从 I(x) 反推出 J(x)。这其实是个病态问题——一个方程，三个未知数。所以需要先验知识来约束解空间。

我记得最早接触去雾是读何恺明那篇《Single Image Haze Removal Using Dark Channel Prior》。当时觉得太神奇了，一张图就能去雾。后来在实际项目里发现，单图去雾在天空区域容易过曝，而且对浓雾场景效果有限。多帧去雾就稳多了。

避坑指南：我曾经在车载项目里直接用单图去雾算法处理雾天视频，结果每帧独立处理，帧间闪烁严重。后来改成多帧联合去雾，利用帧间一致性约束，画面才稳定下来。

这三个领域，是我这几年接触最多的落地场景。咱们一个一个说。

安防对多帧合成和去雾的需求，其实是被「夜间监控」和「雾霾天监控」逼出来的。我做过一个智慧城市的项目，客户要求24小时看清车牌和人脸。白天没问题，一到晚上或者起雾，传统摄像头基本废了。

解决方案就是：

效果怎么样？原来夜间只能看到人影轮廓，用了多帧合成后，人脸特征能分辨了。当然，代价是算力需求翻了好几倍。

自动驾驶对图像质量的要求，比安防还要苛刻。因为图像质量直接决定了感知算法的上限。

我参与过一个L4级自动驾驶的感知项目，测试车在雾天高速路上跑，单帧去雾后的图像还是有很多残留雾区，导致目标检测漏检率飙升。后来我们引入了多帧时序信息，利用连续帧的透射率一致性，去雾效果才达到量产标准。

这里有个关键点：自动驾驶要求实时性，每帧处理时间不能超过30ms。多帧合成和去雾算法必须做轻量化设计。我建议在嵌入式平台上用「帧缓存 + 流水线」架构，避免帧间等待。

手机摄影是普通用户感知最强的场景。你想想，现在哪款旗舰机没有夜景模式？夜景模式的核心就是多帧合成。

我拆解过某主流手机的夜景模式流程：

整个过程大概1-2秒，用户按下快门后，手机其实在后台做了大量计算。

一句话总结：安防要「看得清」，自动驾驶要「看得准」，手机摄影要「看得美」。三个场景对多帧合成与去雾的要求各有侧重，但底层技术是相通的。

我简单梳理了一下时间线，方便大家理解技术演进脉络：

你会发现，技术演进有两个驱动力：一是算法本身的创新（比如暗通道先验、深度学习），二是硬件算力的提升（GPU、NPU、DSP）。两者缺一不可。

我直接说结论：多帧合成与去雾技术，正处于「从高端旗舰向中低端设备渗透」的阶段。

几个数据点：

注意：市场大不代表容易做。我见过不少团队，算法在实验室跑得飞起，一上嵌入式平台就崩。原因往往是没考虑内存带宽、帧率匹配、功耗限制。这门课会重点讲落地中的坑，而不是只讲理论。

下面这张图，是我自己梳理的多帧合成与去雾技术知识体系。建议大家先看一遍，有个整体印象，后面每章都会对应到图中的某个模块。

这张图我建议你保存下来。后面每学完一章，回来看看自己在知识体系中的位置，心里会更有底。

好，第一章的内容就到这里。我们讲了：