一、课程导论与系统概览：什么是多帧降噪HDR？
各位同学，欢迎来到《多帧降噪HDR合成与实时夜景系统实战》的第一章。
先问大家一个问题：你晚上用手机拍照，是不是经常遇到这种情况？
- 拍出来要么黑乎乎一片，细节全无
- 要么开了闪光灯，人脸惨白，背景死黑
- 手稍微一抖，照片就糊了
嗯，这就是手机夜景拍摄的三大痛点：暗、噪、抖。
那为什么现在的旗舰手机，夜景模式一拍就是两三秒，出来的照片却亮如白昼、干净通透？
答案就在我们今天要讲的核心技术——多帧降噪HDR合成。
1.1 什么是多帧降噪HDR？
说白了，就是一次按下快门，手机偷偷拍了好多张照片，然后通过算法把它们合成一张。
我给大家拆解一下这个名词：
| 术语 | 含义 | 通俗解释 |
|---|---|---|
| 多帧 | 连续拍摄多张图像 | 不是拍一张，而是连拍6-12张 |
| 降噪 | 降低图像中的噪点 | 把每张照片里的噪点“平均”掉 |
| HDR | 高动态范围 | 让亮的地方不过曝，暗的地方有细节 |
| 合成 | 将多张图像融合 | 取每张照片最好的部分，拼成一张完美的 |
你想想看，单张照片在暗光下，为了拍亮就得提高ISO，一提高ISO噪点就炸了。但如果我们拍多张，每张用低ISO，然后通过算法叠加，噪点互相抵消，亮度却可以叠加起来。这就是多帧降噪的核心逻辑。
核心公式（简化版）：
最终图像 = 平均(多张低噪点短曝光帧) + HDR融合(不同曝光帧)多帧降噪解决“暗”和“噪”，HDR解决“动态范围不足”。
1.2 为什么手机夜景模式需要它？
我做过一个实验：用单反和手机在同一个夜景场景下拍照。
单反用三脚架，ISO 100，曝光30秒——照片干净得不像话。
手机手持，单张拍摄——全是噪点，暗部细节全丢。
为什么差距这么大？
- 物理限制：手机传感器面积只有单反的1/10甚至更小，进光量天生不足
- 手持限制：曝光时间不能超过1/10秒，否则手抖就糊了
- 动态范围：夜景场景往往有路灯（极亮）和阴影（极暗），单张照片根本hold不住
所以，手机夜景模式必须走“计算摄影”这条路。用多帧合成来弥补硬件的不足。
我记得2018年的时候，Google Pixel 3的Night Sight刚出来，业界都震惊了。它就是用多帧降噪+HDR，手持拍出堪比三脚架长曝光的夜景效果。从那以后，所有手机厂商都开始跟进。
避坑指南： 我曾经在项目里犯过一个错误——以为帧数越多越好。后来发现，帧数超过12帧后，收益急剧下降，反而因为运动物体导致鬼影问题。所以，多帧不是无脑堆帧，而是要在信噪比提升和运动鲁棒性之间找平衡。
1.3 系统整体架构
接下来，我们看看一个完整的夜景系统长什么样。
下面这张图是我自己总结的，也是我们整个课程的核心框架。
整个系统可以分成六个层次：
- 输入层：从摄像头传感器获取多帧RAW数据。注意，这里不是JPEG，是原始的Bayer数据，信息量最大。
- 预处理层：包括黑电平校正、去马赛克、图像对齐。对齐这一步特别关键，因为手持拍摄帧与帧之间有位移。
- 核心处理层：这是算法的灵魂。三个并行模块——多帧降噪、HDR合成、运动补偿与鬼影检测。它们之间是相互耦合的。
- 融合层：通过权重图计算和金字塔融合，把三路结果合成一张。
- 后处理层：色调映射（把HDR数据映射到普通显示器能显示的范围内）、锐化、色彩校正。
- 输出层：最终生成YUV或JPEG格式的夜景图像。
注意： 很多初学者以为多帧降噪就是简单平均。实际上，真实场景中会有运动物体（行人、车辆、树叶晃动），简单平均会导致鬼影。所以，运动补偿和鬼影检测是区分“玩具级”和“工业级”算法的分水岭。我们课程后面会花整整两章来讲这个。
1.4 学习路径
我们这个课程一共30章，我把它分成了五个阶段：
| 阶段 | 章节 | 核心内容 | 实战产出 |
|---|---|---|---|
| 基础篇 | 1-6 | 图像传感器原理、噪声模型、多帧对齐基础 | Python模拟多帧噪声数据 |
| 核心算法篇 | 7-15 | 时域降噪、空域降噪、HDR合成、鬼影检测 | 实现完整的多帧降噪HDR流水线 |
| 工程优化篇 | 16-22 | 内存优化、多线程加速、NEON指令集优化 | 在ARM设备上跑通实时处理 |
| 系统集成篇 | 23-27 | Android Camera2集成、ISP管线对接 | 完整的夜景模式App |
| 进阶与前沿 | 28-30 | 深度学习降噪、端侧AI部署 | AI+传统算法混合方案 |
我个人建议的学习方法是：
- 不要跳着看。每一章的代码都是上一章的延续，跳了后面可能看不懂。
- 一定要动手跑代码。我提供了完整的Python仿真环境，你可以在电脑上模拟整个流程。
- 遇到不懂的数学公式，先跳过。先理解直觉，再回头啃公式。我当年学维纳滤波的时候，看了三遍才懂，很正常。
我的经验： 这个课程里最难的部分其实是第12章“运动估计与鬼影检测”。我当时在项目里卡了两个月，最后发现是光流算法的参数没调对。所以，如果你学到那里觉得吃力，别慌，多看几遍，多调参数，一定能过。
1.5 本章小结
好，我们来回顾一下今天的内容：
- 多帧降噪HDR = 多帧拍摄 + 降噪 + HDR融合，是手机夜景模式的基石
- 它解决了手机传感器物理限制带来的暗、噪、动态范围不足问题
- 系统架构分为六层：输入、预处理、核心处理、融合、后处理、输出
- 学习路径分五个阶段，从基础到前沿，循序渐进
下一章，我们会深入图像传感器的噪声模型。你会真正理解：噪点到底是从哪来的？为什么多帧能降噪？
我们到时候见。