1. 课程导论：夜拍模式与HDR模式联合调优的背景、目标与挑战
1.1 为什么需要联合调优？
在移动影像领域，夜拍模式（Night Mode）与HDR模式（High Dynamic Range）长期被视为两条独立的技术路线。夜拍模式通过多帧合成提升低光亮度、抑制噪声；HDR模式则通过不同曝光帧的融合扩展动态范围、恢复高光与阴影细节。然而，随着传感器像素密度提升和计算摄影的普及，单一模式已无法满足用户对“暗光高动态”场景的极致需求——例如夜景中的霓虹灯招牌、城市天际线或逆光人像。
联合调优的核心驱动力来自三个层面：
- 场景重叠：大量真实场景同时具备低照度（需夜拍）和高对比度（需HDR）特征，单一模式会丢失另一方关键信息。
- 资源竞争：两种模式均依赖多帧采集、ISP管线与算法流水线，独立运行时存在帧率冲突、内存争抢与功耗叠加问题。
- 画质瓶颈：夜拍模式在压制噪声时可能抹除高光细节；HDR模式在扩展动态范围时可能放大暗部噪声。联合调优是打破此矛盾的关键。
关键洞察：夜拍与HDR的联合不是简单的“先拍后合成”，而是从Camera HAL层开始，在帧调度、曝光策略、ISP参数与后处理流水线上进行深度协同设计。
1.2 联合调优的核心目标
本课程围绕以下四个量化目标展开，所有调优动作均以HAL层可配置参数为锚点：
| 目标维度 | 具体指标 | HAL层关键参数 |
|---|---|---|
| 动态范围 | 单帧输出 ≥ 12 stops（联合合成后 ≥ 16 stops） | AE目标亮度、HDR参考帧曝光比 |
| 信噪比 | 暗部区域 SNR ≥ 35 dB（相比纯夜拍模式提升 ≥ 5 dB） | 帧叠加权重、ISP数字增益上限 |
| 运动鲁棒性 | 运动区域鬼影面积 ≤ 画面 5% | 运动检测阈值、帧对齐容差 |
| 功耗与延迟 | 单次捕获总延迟 ≤ 800 ms，功耗增幅 ≤ 15% | 帧率控制、ISP流水线时钟门控 |
1.3 联合调优面临的主要挑战
从HAL层视角出发，联合调优需要克服以下技术障碍：
- 曝光策略冲突：夜拍模式倾向长曝光+高ISO，HDR模式倾向短曝光+多帧融合。两者在AE算法中的目标亮度与帧序列长度上直接矛盾。
- 帧对齐与鬼影抑制：联合模式下帧数增多（通常 6~12 帧），手持抖动与场景运动导致对齐误差累积，鬼影区域难以通过简单融合消除。
- ISP管线参数耦合：夜拍需要强降噪（高时空滤波），HDR需要保留边缘锐度（低滤波强度）。HAL层需在单次捕获中动态切换ISP调色矩阵与降噪强度。
- 实时性约束：联合模式的计算负载是单一模式的 2~3 倍，HAL层必须在帧间隔内完成多帧调度、对齐、融合与后处理，否则导致预览卡顿或快门延迟。
- 传感器与平台适配：不同传感器（如 Sony IMX989、Samsung GN2）的HDR读出模式（DOL-HDR、Staggered-HDR）与夜拍多帧模式存在硬件级冲突，HAL层需提供抽象层进行统一调度。
工程陷阱提示：多数团队在联合调优初期会直接修改3A算法（AE/AWB/AF），但忽略了HAL层帧调度器（Frame Scheduler）与ISP参数队列（Parameter Queue）的同步问题。这往往是导致“合成后画质不如单一模式”的根本原因。
1.4 联合调优的系统架构概览
下图展示了从传感器到最终图像的HAL层联合调优流水线。核心在于联合帧调度器与参数动态切换模块，它们协同控制曝光序列与ISP配置。
1.5 课程技术路线与学习路径
本课程共30章，按以下阶段组织：
- 基础篇（第1~8章）：夜拍模式与HDR模式的HAL层原理、帧调度机制、ISP参数模型。
- 核心篇（第9~18章）：联合曝光策略设计、帧对齐算法优化、ISP参数动态切换实现。
- 实战篇（第19~26章）：基于高通/MTK平台的联合调优案例、性能剖析与功耗优化。
- 进阶篇（第27~30章）：多传感器适配、AI辅助联合调优、未来架构演进。
学习建议：建议在阅读核心篇前，先完成基础篇的HAL层代码阅读作业（第5章提供开源HAL框架源码分析）。联合调优的难点在于参数耦合，动手修改帧调度器代码比单纯理解理论更有效。