第三章 高通ISP降噪硬件加速单元架构与数据流
做高通平台影像调试这么多年，我最大的感受就是：降噪不是靠算法堆出来的，是靠硬件流水线“喂”出来的。你想想看，一张照片从Sensor出来到最终YUV输出，中间要经过Bayer域、RGB域、YUV域，每个阶段都有专门的硬件加速单元在做降噪。不理解这些单元的架构和数据流，你调出来的参数大概率是“按下葫芦浮起瓢”。
这一章，我们就来拆解高通平台最核心的三个降噪硬件单元：Bayer NR、YUV NR、Temporal NR。我会结合我实际项目中的踩坑经历，把它们的架构设计和数据流讲透。
3.1 整体数据流概览
先看一张总图，了解降噪模块在整个ISP pipeline中的位置。
核心观点：降噪不是孤立模块，而是贯穿ISP全流程的“组合拳”。Bayer NR处理原始噪声，YUV NR处理色彩和亮度噪声，Temporal NR利用帧间信息做“时间维度的降噪”。
个人经验：我在调试一款48M sensor时，发现Bayer NR和Temporal NR的配合出了问题——Bayer NR降得太狠，导致Temporal NR的运动检测误判，结果夜景模式下的运动物体出现了“鬼影”。后来我把Bayer NR的强度降低了15%，问题就解决了。所以，调参不能只看单个模块，要看整个数据流。
3.2 Bayer NR：原始域的“第一道防线”
Bayer NR是ISP流水线上第一个降噪节点。它直接处理Sensor输出的RAW数据，这时候图像还是Bayer pattern格式，没有经过任何颜色处理。说白了，这是降噪的“黄金窗口”——噪声特征最原始，没有被打散或放大。
3.2.1 架构设计
高通平台的Bayer NR硬件单元，核心是一个自适应双边滤波器。它同时考虑像素值的相似度和空间距离，对平坦区域做强平滑，对边缘区域做弱平滑。
| 参数 | 作用 | 典型范围 | 我的建议 |
|---|---|---|---|
| Sigma_R | 像素值域标准差，控制“什么算相似” | 0.01 ~ 0.10 | 暗光场景适当增大，但不要超过0.08，否则边缘会糊 |
| Sigma_S | 空间域标准差，控制滤波窗口大小 | 1.0 ~ 5.0 | 我习惯用3.0作为基准，再根据噪声水平微调 |
| Gain_Threshold | 增益阈值，决定是否启用强降噪 | 2x ~ 16x | 低于2x时建议关闭Bayer NR，避免细节损失 |
避坑指南：我曾经在某个项目里把Sigma_R设到0.12，结果暗光下的文字边缘出现了“水彩画”效果。后来才发现，Bayer NR的Sigma_R不能单独调大，必须配合边缘检测阈值一起调整。记住：Bayer NR的强度上限由边缘保护机制决定。
3.2.2 数据流细节
Bayer NR的数据流其实很简单，但有几个关键点需要注意：
- 输入：Bayer pattern RAW数据，通常是10bit或12bit
- 处理：按RGGB四通道分别做双边滤波，通道间不共享权重
- 输出：降噪后的Bayer RAW，位宽不变
- 旁路：当Gain低于阈值时，硬件自动旁路，不消耗额外功耗
这里有个细节——高通平台支持Bayer NR的“分通道调参”。R、G、G、B四个通道可以设置不同的Sigma_R。为什么？因为Sensor的R通道和B通道的噪声水平通常不一样。我遇到过一款Sensor，B通道的噪声比R通道高30%，如果不分开调，B通道的噪声会残留到后续处理中。
3.3 YUV NR：色彩域的“精细打磨”
经过Demosaic和颜色校正后，图像进入YUV域。这时候的噪声已经变成了“彩色噪声”和“亮度噪声”混合体。YUV NR的任务就是分别处理Y通道（亮度）和UV通道（色度）的噪声。
3.3.1 架构设计
高通YUV NR硬件单元采用双通道独立处理架构：
- Y通道：使用边缘导向的NL-Means（非局部均值）算法，保留纹理细节
- UV通道：使用强低通滤波，因为人眼对色度噪声不敏感，可以降得更狠
为什么要分开？你想想看，如果把Y通道的降噪强度用到UV通道上，图像会变成“蜡像”——细节全没了，但颜色还是花的。反过来，如果把UV通道的强度用到Y通道上，图像会保留大量亮度噪声，看起来“脏兮兮”的。
| 通道 | 算法 | 强度范围 | 典型场景 |
|---|---|---|---|
| Y (亮度) | 边缘导向NL-Means | 0 ~ 255 | 暗光下建议80~120，强光下建议20~40 |
| U (蓝色色差) | 低通滤波 | 0 ~ 255 | 可以比Y通道高2~3倍，但注意不要产生色斑 |
| V (红色色差) | 低通滤波 | 0 ~ 255 | 与U通道保持一致，避免色偏 |
关键参数：YUV NR中有一个参数叫UV_Strength_Ratio，控制UV通道相对于Y通道的降噪强度比例。我一般设到2.5~3.0，但要注意——如果Sensor的彩色噪声特别严重，这个值可以提高到4.0，但必须配合色度饱和度调整，否则颜色会变淡。
3.3.2 数据流细节
YUV NR的数据流比Bayer NR复杂一些，因为它涉及Y/UV分离处理和边缘信息复用：
- 输入：YUV444或YUV420格式数据
- 分离：硬件自动将Y和UV分离到两个处理通道
- 边缘检测：从Y通道提取边缘信息，同时用于Y和UV的降噪控制
- 并行处理：Y通道做NL-Means，UV通道做低通滤波
- 合并：降噪后的Y和UV重新合并为YUV数据
嗯，这里要注意——边缘信息复用是个双刃剑。如果Y通道的边缘检测不准，UV通道的降噪也会跟着出错。我遇到过一个问题：在拍摄密集纹理（比如草地）时，Y通道的边缘检测把纹理误判为噪声，导致UV通道也跟着过度降噪，结果草地变成了“绿色色块”。后来我把边缘检测的阈值调低了20%，问题就解决了。
3.4 Temporal NR：时间维度的“降噪魔法”
Temporal NR是降噪的“终极大招”。它利用前后帧的信息来做降噪——说白了，就是让静止区域的像素“平均”起来，噪声自然就减少了。但运动区域不能平均，否则会出现鬼影。
3.4.1 架构设计
高通Temporal NR的核心是一个运动补偿+自适应融合架构：
- 运动估计：计算当前帧与参考帧之间的运动矢量
- 运动补偿：根据运动矢量对齐参考帧
- 自适应融合：根据运动置信度，决定当前帧和参考帧的融合比例
这个架构的关键在于运动置信度的计算。高通平台使用了一种叫做“SAD（差值和）+ 纹理复杂度”的混合指标来判断运动程度。
| 运动置信度 | 融合比例（当前帧:参考帧） | 典型场景 |
|---|---|---|
| 高（静止） | 1:3 或 1:4 | 三脚架夜景、静态场景 |
| 中（轻微运动） | 1:1 或 2:1 | 手持轻微抖动、缓慢移动的物体 |
| 低（快速运动） | 4:1 或 完全使用当前帧 | 行人、车辆、快速摇镜 |
避坑指南：我曾经在调试Temporal NR时遇到一个“幽灵”问题——预览画面看起来没问题，但拍照时偶尔会出现“半透明鬼影”。排查了两天才发现，是运动估计的搜索范围设得太小了（只有8x8像素），导致快速运动的物体匹配不准。后来我把搜索范围扩大到16x16，鬼影就消失了。记住：Temporal NR的运动搜索范围要根据场景动态调整，不能一个参数打天下。
3.4.2 数据流细节
Temporal NR的数据流涉及帧缓存和DDR带宽，是ISP中最“吃”资源的模块：
- 输入：当前帧YUV数据 + 参考帧YUV数据（从帧缓存读取）
- 运动估计：在Y通道上做块匹配，计算运动矢量
- 运动补偿：根据运动矢量，从参考帧中取出对齐后的像素
- 置信度计算：基于SAD和纹理复杂度，生成每个像素的运动置信度
- 自适应融合：按置信度比例融合当前帧和参考帧
- 输出：降噪后的当前帧YUV数据，同时写入帧缓存作为下一帧的参考
这里有个性能瓶颈——帧缓存的带宽占用。Temporal NR通常需要2~3帧的缓存，每帧如果是4K分辨率、10bit位宽，带宽占用非常可观。我在一个项目中遇到过DDR带宽不足导致Temporal NR“丢帧”的问题，后来通过降低参考帧的分辨率（从全分辨率降到1/2分辨率）解决了。
3.5 三个模块的协同工作
最后，我们来看看这三个模块是怎么配合的。我总结了一个“降噪强度分配原则”：
- 低增益（ISO 100~400）：Bayer NR做轻度降噪，YUV NR做中度降噪，Temporal NR做重度降噪
- 中增益（ISO 400~1600）：Bayer NR做中度降噪，YUV NR做重度降噪，Temporal NR做重度降噪
- 高增益（ISO 1600以上）：Bayer NR做重度降噪，YUV NR做极重度降噪，Temporal NR做极重度降噪
为什么要这样分配？因为噪声是逐级放大的。Bayer NR如果降得不够，YUV NR就要承担更多压力；YUV NR如果降得不够，Temporal NR就要拼命工作。反过来，如果Bayer NR降得太狠，YUV NR和Temporal NR就“无活可干”，但细节也损失了。
个人习惯：我一般先调Bayer NR，把基础噪声压住；再调YUV NR，处理彩色噪声；最后调Temporal NR，做“锦上添花”的帧间降噪。调参顺序不能乱，否则你会陷入“调了YUV NR发现Bayer NR需要重调”的死循环。