1. 课程导论与成像基础

1.1 为什么我们需要多帧技术？

先聊个实际场景。你拿着手机拍夜景，按下快门——画面亮了，但噪点像雪花一样。你换个姿势再拍，噪点少了，但画面糊了。为什么会这样？

说白了，单帧图像在低光环境下就是个「信息不足」的困局。传感器就那么点面积，进光量有限，信号弱了，噪声自然就冒出来了。我早年做安防摄像头项目时，客户要求「夜间能看清车牌」，单帧怎么调都不行——要么噪点爆炸，要么动态模糊。后来转向多帧方案，问题才真正解决。

多帧降噪和HDR合成，本质上是用「时间换质量」。你拍多张图，每张都有噪声，但噪声是随机的，信号是稳定的。把多张图叠在一起，信号叠加增强，噪声相互抵消——这就是多帧降噪的核心逻辑。

HDR合成也是类似思路。一张图曝光不足，暗部细节丢了；另一张图曝光过度，高光细节没了。把不同曝光的帧合在一起，亮部和暗部都能保留。我在项目中遇到过最典型的场景：逆光人像，人脸黑成一片，背景亮得刺眼。单帧怎么拉曲线都救不回来，HDR合成一上，人脸和背景都清晰了。

1.2 应用场景：哪些地方离不开多帧？

我列几个实际落地的场景，你想想看自己遇到过几个：

• 手机夜景模式：手持拍夜景，连拍6-12帧，对齐后加权平均。这是目前最普及的多帧降噪应用。
• 安防监控：夜间低照度环境，单帧全是噪点。多帧降噪能保持画面干净，同时不丢失运动目标。
• 自动驾驶相机：隧道出入口、夜间会车，动态范围极大。HDR合成保证亮区和暗区都能看到障碍物。
• 医疗内窥镜：体内光线极弱，多帧降噪能提升图像质量，帮助医生看清病灶边缘。
• 天文摄影：拍星空时，单帧信噪比极低。多帧叠加后，星云细节才能显现出来。

嗯，这里要注意：不同场景对「实时性」的要求完全不同。手机夜景可以等1-2秒，自动驾驶必须30帧/秒实时处理。所以多帧算法的设计，必须根据应用场景来取舍。

1.3 相机成像模型：信号是怎么变成图像的？

要理解噪声，先得搞清楚相机是怎么成像的。我习惯把成像过程拆成四个阶段：

1. 光子入射：场景中的光线通过镜头，到达传感器表面。
2. 光电转换：传感器上的每个像素（光电二极管）把光子转换成电子。电子数量与光强成正比。
3. 电荷读出：电子被读出电路转换成电压，再经过模数转换器（ADC）变成数字值。
4. 图像处理：数字值经过去马赛克、白平衡、伽马校正等流程，最终输出可视图像。

每个阶段都会引入噪声。我画了一张图，把整个流程和噪声来源串起来：

1.4 噪声来源深度分析

噪声不是一种东西。我习惯把噪声分成两大类：时间噪声和固定模式噪声。

噪声类型	来源	特性	多帧能否抑制
光子散粒噪声	光子到达的随机性	服从泊松分布，与信号强度平方根成正比	✅ 可以，多帧平均后信噪比提升√N倍
暗电流噪声	热激发产生的电子	与曝光时间、温度成正比	✅ 可以，但需要暗帧校正配合
读出噪声	读出电路中的电子噪声	与信号无关，固定方差	✅ 可以，多帧平均有效
量化噪声	ADC量化精度有限	均匀分布，幅度为1个LSB	⚠️ 部分抑制，抖动技术可改善
固定模式噪声	像素间增益/暗电流不一致	空间上固定，不随时间变化	❌ 不能，需要标定校正

1.5 多帧降噪与HDR的核心逻辑

讲完了噪声，我们回到多帧技术本身。我习惯用一句话概括：

多帧降噪：拍N张图，对齐后平均，信噪比提升√N倍。

HDR合成：拍N张不同曝光的图，提取每张的「好部分」，合成一张动态范围更大的图。

你可能会问：为什么平均就能降噪？

因为噪声是随机的，均值为0。你拍100张图，每个像素的噪声有正有负，平均之后趋近于0。而信号是稳定的，平均之后保持不变。所以信噪比提升了。

HDR的原理也类似。一张欠曝的图，暗部噪声小、细节清晰；一张过曝的图，亮部饱和了但暗部全是噪声。把两张图按权重融合——暗部用欠曝帧，亮部用过曝帧——就能得到一张「全动态范围」都清晰的照片。

1.6 本章小结

这一章我们聊了：

• 多帧降噪和HDR合成的核心概念——用多帧信息换单帧质量
• 实际应用场景——手机、安防、自动驾驶、医疗、天文
• 相机成像模型——从光子到数字值的完整链路
• 噪声来源分析——五种噪声的特性与抑制方法

嗯，这些是后续所有章节的基础。你理解了噪声从哪里来、多帧为什么能降噪，后面讲具体算法时就不会觉得「空中楼阁」了。