多帧融合基础：多帧采集策略与帧对齐技术
多帧融合，说白了就是让摄像头“多看几眼”，然后把这几眼的信息揉在一起，得到一张更干净、更亮的图。但这里有个关键问题——怎么拍？拍完怎么对齐？
我刚开始做多帧融合时，以为只要连续拍几张图叠起来就行。结果呢？稍微动一下，画面就糊成一团。嗯，这里面的坑，咱们一个一个填。
多帧采集策略：短帧、长帧、中帧
采集策略决定了你拿到的原始素材质量。不同的场景，需要不同的“拍法”。
| 帧类型 | 曝光时间 | 典型场景 | 信噪比 | 运动鲁棒性 |
|---|---|---|---|---|
| 短帧 | 1/1000s ~ 1/120s | 白天、高动态、运动物体 | 低（噪声多） | 高（不糊） |
| 中帧 | 1/120s ~ 1/30s | 室内、阴天、一般场景 | 中等 | 中等 |
| 长帧 | 1/30s ~ 几秒 | 夜景、暗光、静态场景 | 高（细节丰富） | 低（容易糊） |
核心原则：短帧保清晰，长帧保亮度，中帧做过渡。三者的比例，决定了融合后的动态范围和噪声水平。
我个人习惯，在移动端ISP上，短帧一般拍3~5帧，中帧拍1~2帧，长帧拍1帧就够了。为什么？因为长帧太容易糊，拍多了反而增加对齐难度。
采集策略的实战选择
你想想看，如果场景里有快速移动的汽车，你用长帧去拍，车就变成一道光带。这时候必须用短帧。
- 高动态场景（HDR）：短帧+中帧+长帧各拍1~2帧，融合后保留高光和暗部细节。我在项目中遇到过，拍夕阳下的建筑，长帧保留暗部纹理，短帧压住天空过曝，效果立竿见影。
- 夜景手持：短帧3~5帧 + 中帧1帧。短帧用于对齐和去噪，中帧提供基础亮度。长帧？手持状态下别想了，必糊。
- 三脚架夜景：长帧为主，短帧辅助。长帧曝光2秒，短帧只做运动检测和防抖补偿。
避坑指南：我曾经在夜景模式下，为了追求亮度，把长帧曝光时间拉到2秒。结果用户手抖，融合后全是重影。后来我加了一条规则：长帧曝光时间超过1/15秒时，必须检测陀螺仪数据，否则强制切回短帧方案。
帧对齐技术：光流法与特征匹配法
帧拍完了，但每帧之间都有偏移——手抖、物体移动、甚至卷帘快门带来的畸变。不对齐就融合，结果就是重影+模糊。
对齐技术，我主要用两种：光流法和特征匹配法。它们各有各的脾气。
光流法：像素级的运动估计
光流法，说白了就是算每个像素点从上一帧到下一帧“跑了多远”。它输出一个运动矢量场，告诉你每个点往哪个方向移动了多少。
// 简化版光流计算（Lucas-Kanade 方法）
// 输入：前一帧 I1，当前帧 I2
// 输出：每个像素的运动矢量 (u, v)
for each pixel (x, y) in I1:
// 计算空间梯度 Ix, Iy
Ix = (I1(x+1,y) - I1(x-1,y)) / 2
Iy = (I1(x,y+1) - I1(x,y-1)) / 2
// 计算时间梯度 It
It = I2(x,y) - I1(x,y)
// 构建局部窗口的方程组
// [sum(Ix^2) sum(Ix*Iy)] [u] = [-sum(Ix*It)]
// [sum(Ix*Iy) sum(Iy^2)] [v] [-sum(Iy*It)]
// 求解得到 (u, v)
光流法的优点：精度高，能处理非刚性运动（比如人脸表情、风吹树叶）。缺点：计算量大，在移动端NPU上跑全图光流，帧率可能掉到10fps以下。
注意：光流法在纹理稀疏的区域（比如白墙、天空）会失效。我踩过这个坑——拍夜景天空，光流算出全是噪声矢量，融合后天空反而出现奇怪的波纹。后来我加了纹理置信度掩码，低纹理区域用全局仿射变换替代。
特征匹配法：稀疏但高效
特征匹配法，只找图像里的“关键点”——角点、边缘、斑点。然后匹配这些点之间的对应关系，算出一个全局变换矩阵。
常用的特征：SIFT、ORB、AKAZE。在ISP场景里，我推荐ORB，因为它快，而且对光照变化有一定鲁棒性。
// ORB特征匹配流程
// 1. 提取特征点
orb = cv2.ORB_create(nfeatures=500)
kp1, des1 = orb.detectAndCompute(frame1, None)
kp2, des2 = orb.detectAndCompute(frame2, None)
// 2. 暴力匹配
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1, des2)
// 3. 筛选优质匹配（按距离排序）
matches = sorted(matches, key=lambda x: x.distance)
good_matches = matches[:50]
// 4. 计算单应性矩阵
src_pts = np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1,1,2)
dst_pts = np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1,1,2)
H, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
特征匹配法的优点：速度快，适合全局运动（比如相机平移、旋转）。缺点：对局部运动（比如人挥手）无能为力，而且纹理太少时特征点不够用。
两种方法的对比与选择
| 维度 | 光流法 | 特征匹配法 |
|---|---|---|
| 运动类型 | 局部+全局，非刚性 | 全局刚性变换为主 |
| 计算量 | 高（全图逐像素） | 低（稀疏特征点） |
| 纹理依赖 | 强（无纹理区域失效） | 中等（需要足够特征点） |
| 精度 | 亚像素级 | 像素级（取决于特征点密度） |
| 硬件友好性 | GPU/NPU加速后可用 | CPU即可实时 |
我的实战建议：在移动端AI ISP上，我通常用“特征匹配做粗对齐 + 光流做精对齐”的级联方案。先算全局单应性矩阵，把两帧大致对齐，再用光流修正局部偏移。这样既保证了速度，又兼顾了精度。
多帧采集与对齐的完整流程
下面这张图，是我在实际项目中沉淀下来的多帧融合前处理流程。你看一眼，基本就能理解整个链路。
流程其实不复杂：传感器拍完，先根据场景选策略，然后对齐，最后融合。但每一步都有细节，尤其是对齐这一步，做不好后面全白搭。
对齐质量评估：怎么知道对齐好了？
光说“对齐好了”不行，得有量化指标。我常用的两个指标：
- PSNR（峰值信噪比）：对齐后的帧与参考帧之间的差异。PSNR越高，对齐越准。一般要求 > 35dB。
- SSIM（结构相似性）：衡量结构、亮度、对比度的相似度。SSIM > 0.95 才算合格。
经验值：在夜景多帧融合中，如果对齐后的PSNR低于30dB，融合结果大概率会有重影。这时候我建议回退到单帧增强方案，别硬融。
对齐的硬件加速
在AI芯片上部署时，光流法通常用NPU加速。我建议把光流计算拆成三步：
- 图像金字塔构建：用硬件缩放器快速生成多尺度图像
- 梯度计算：用卷积加速器算Ix、Iy、It
- 方程组求解：用矩阵运算单元解2x2线性系统
特征匹配法，我一般放在CPU上跑。因为特征点提取和匹配的流程分支多，NPU反而跑不快。但RANSAC（随机抽样一致性）这一步，可以用NPU的并行能力加速。
避坑指南：我曾经在NPU上硬跑全图光流，结果功耗飙到3W，手机发烫。后来我把光流分辨率降到VGA（640x480），精度损失不到5%，功耗降了60%。嗯，有时候“够用”比“最好”更重要。
小结
多帧采集策略决定了你能拿到什么素材，帧对齐技术决定了你能把这些素材用得多好。短帧、中帧、长帧的搭配，光流法和特征匹配法的选择，都是工程上的权衡。没有银弹，只有针对场景的优化。