一、夜景模式概述：多帧合成、发展历程与高通平台架构

各位同学好，我是老赵。在手机影像这行摸爬滚打了十几年，从最早的功能机做到现在的高通骁龙平台。今天咱们开篇先聊聊夜景模式——这个功能现在几乎成了手机的标配，但背后的门道，远比大多数人想象的要深。

说白了，夜景模式的核心就四个字：多帧合成。但怎么合、合几帧、合完怎么处理，这里面的坑，我当年可是一个一个踩过来的。

1.1 什么是多帧合成？

先问个问题：为什么单张照片拍夜景，总是又暗又糊？

原因很简单——信噪比不够。暗光环境下，光子数量少，传感器接收到的信号弱，但电路本身的噪声（读噪声、热噪声）却不会减少。结果就是信号被噪声淹没，照片全是噪点。

那怎么办？多拍几张，然后叠在一起。

多帧合成的数学原理其实很朴素：

• 假设每帧的噪声是独立同分布的随机变量
• N帧叠加后，信号强度线性增加（×N）
• 而噪声强度只增加√N倍
• 信噪比提升约√N倍

举个例子：4帧合成，信噪比提升2倍；16帧合成，提升4倍。你想想看，这效果是不是立竿见影？

但这里有个陷阱——帧间配准。我当年在项目里就吃过亏：手持拍摄时手会抖，每帧的画面位置不一样。如果不做对齐直接叠加，画面就糊成一团。嗯，这个后面我们会专门讲配准算法。

1.2 夜景模式的发展历程

我把它分成四个阶段，用表格列出来比较清楚：

阶段	时间	代表方案	核心思路	典型问题
1.0 长曝光时代	2010年前	Nokia N8、数码相机	单帧长曝光，降低ISO	手持必糊，必须上三脚架
2.0 简单多帧平均	2012-2015	HTC Zoe、早期iPhone	连拍多帧，直接平均降噪	运动物体鬼影严重
3.0 对齐+融合	2016-2019	Google HDR+、华为夜景	先配准再融合，引入运动检测	计算量大，发热明显
4.0 智能多帧+AI	2020至今	高通骁龙8系、各家旗舰	自适应选帧、AI降噪、语义分割	算法复杂度高，调优难度大

我个人印象最深的是从2.0到3.0的跨越。当时我在做一款中端机，直接多帧平均的结果就是——拍夜景人像，人脸动一下就拖出三条影子。用户投诉说"这手机拍出来像鬼片"。后来我们花了整整两个迭代才把运动补偿做稳定。

1.3 高通平台夜景架构简介

好，现在咱们进入正题——高通的夜景架构。我这些年主要跟骁龙平台打交道，从820到8 Gen 3，架构一直在演进，但核心框架没变过。

先看一张整体架构图：

这张图是我根据高通公开文档和实际项目经验整理的。注意几个关键点：

• Sensor RAW输入：多帧合成最好在RAW域做，因为Bayer数据还没被插值，信息最完整。我见过有些方案在YUV域做，效果差一截。
• ISP前端：黑电平校正、镜头阴影校正这些必须在多帧之前做，否则每帧的固定模式噪声不一致，融合后反而更糟。
• 多帧处理核心：这是咱们课程的重点。帧选择、配准、融合、去鬼影，每一步都有大量调优空间。
• ISP后端：融合后的单帧再走常规ISP流程，但参数需要针对多帧结果重新标定——这个坑我后面会细讲。

1.4 高通平台的关键硬件加速单元

说到架构，不得不提高通平台里几个专门为多帧处理服务的硬件单元：

硬件单元	作用	在夜景模式中的角色
ISP（图像信号处理器）	RAW到YUV的硬件管线	提供多帧RAW输出，支持MIPI虚通道
Hexagon DSP	向量处理器，低功耗计算	跑配准、融合算法，比CPU省电3-5倍
Adreno GPU	通用计算单元	跑AI去噪模型，适合并行计算
NPU（神经网络处理器）	专用AI加速	语义分割、场景识别、自适应参数预测

我个人习惯把夜景模式的算法部署分成三种模式：

1. 纯DSP模式：适合中端平台，功耗低，但算法复杂度受限
2. DSP+GPU混合模式：主流旗舰方案，配准在DSP，AI去噪在GPU
3. 全NPU模式：最新骁龙8 Gen 3开始支持，端到端AI多帧合成

嗯，这里要提醒一句：硬件加速不是万能的。我见过有人把算法一股脑全塞进DSP，结果内存带宽爆了，帧率掉到1fps。合理的任务划分，比单纯的算法优化更重要。