2. 去噪算法全景概览：空域滤波、频域滤波、非局部均值、深度学习去噪的硬件友好性分析

做图像去噪的硬件实现，第一件事不是写RTL，而是搞清楚——你选的算法到底适不适合用逻辑门去堆。

我见过不少团队，算法仿真跑得飞起，一到综合就傻眼：面积爆了、带宽不够、延迟超标。说白了，算法到硬件之间有一条鸿沟，叫硬件友好性。

这一章，我把四大类去噪算法掰开揉碎，从硬件视角逐个分析。哪些适合流片，哪些只适合，咱们一次说清楚。

2.1 空域滤波：最朴素的硬件宠儿

空域滤波，就是直接在像素点上做运算。均值滤波、高斯滤波、中值滤波，都属于这一类。

为什么空域滤波是硬件首选？你想想看，它的核心操作就两个：乘加（均值/高斯）和排序（中值）。

拿3×3均值滤波举例，9个像素求和再除以9。这在硬件里就是一组加法树加一个移位寄存器。我在项目中做过一个1080P@60fps的实时高斯滤波器，整个模块只用了不到2000个LUT，延迟只有2行。

中值滤波稍微麻烦点，因为要排序。但3×3窗口的排序网络，用Batcher奇偶归并，9个数的排序只需要19个比较器。嗯，这里要注意：窗口越大，排序代价指数上升。5×5的中值滤波，面积能翻4倍。

2.2 频域滤波：数学很美，硬件很痛

频域滤波的思路是把图像变换到频域，滤掉噪声对应的频率分量，再变换回来。FFT、DCT是典型代表。

为什么频域滤波在硬件里不受待见？三个字：不局部。

FFT需要对整幅图像或至少一个完整块做变换。这意味着你要先把整行甚至整帧数据存下来。对于4K分辨率，一帧图像8MB，你让片上SRAM怎么扛？

我做过一个DCT域去噪的尝试，128×128分块，每块做2D-DCT。结果呢？光是转置存储就要128×128×16bit的RAM，再加上变换核的乘法器阵列，面积直接飙到10万门以上。而且延迟——从输入到输出，至少等一帧。

不过频域滤波也不是一无是处。在JPEG压缩域做去噪，因为DCT系数已经在那里了，省掉了变换这一步。我在一个视频编码芯片项目里就用过这个思路，效果还不错。

指标	空域滤波	频域滤波
计算复杂度	O(N)	O(N log N)
片上存储需求	几行数据	整帧或整块
延迟	几行周期	一帧周期
硬件面积	小	大
实时性	优秀	较差

2.3 非局部均值（NLM）：效果惊艳，代价惊人

NLM的核心思想：图像里有很多相似的小块，用这些相似块加权平均来去噪。效果确实好，尤其是纹理保留方面。

NLM的硬件实现，难点在相似度计算。每个像素点，要在搜索窗口内计算与所有参考块的相似度。假设搜索窗口21×21，参考块7×7，每个像素要算441次SAD（差和）。

我优化过一个NLM硬件架构，用了三个技巧才让它"能跑"：

1. 积分图加速：用积分图把块相似度计算从O(r²)降到O(1)
2. 搜索窗口裁剪：从21×21缩小到11×11，效果损失不大，计算量减半
3. 权重计算查表：指数函数用LUT实现，省掉除法器

即使这样，一个1080P的NLM硬件模块，面积也要5万门以上，DDR带宽需求超过2GB/s。说实话，NLM更适合做后处理加速，不适合做实时视频流。

2.4 深度学习去噪：性能天花板，硬件地狱

深度学习去噪，CNN、UNet、DNCNN这些，效果确实吊打传统方法。但硬件实现嘛……

深度学习去噪的硬件痛点，我列几个：

• 卷积层太多：一个DNCNN有17层卷积，每层几十个3×3核。乘法器数量轻松上千。
• 中间特征图：每层输出都是feature map，几十甚至上百通道。片上存不下，只能往DDR倒。
• 激活函数：ReLU还好，要是遇到sigmoid、tanh，LUT资源直接爆炸。
• 权重更新：推理不需要训练，但权重加载也是带宽开销。

我参与过一个AI ISP项目，里面集成了一个轻量级去噪CNN。模型压缩到只有8层，每层16个3×3核，量化到INT8。就这样，专用的NPU核心面积也占了整个芯片的30%。

不过话说回来，如果不在乎功耗和成本，比如云端服务器、高端安防，深度学习去噪确实是首选。毕竟效果摆在那里。

2.5 硬件友好性对比总表

下面这张表，是我做项目选型时经常翻的。每次新项目开始，先对着这张表划掉几个选项。

算法类型	去噪效果	硬件面积	存储需求	实时性	功耗	综合评分
空域滤波	中等	小	低	优秀	低	★★★★★
频域滤波	中等偏上	大	高	较差	中	★★☆☆☆
非局部均值	良好	中	高	一般	中高	★★★☆☆
深度学习	优秀	极大	极高	差	高	★☆☆☆☆

2.6 知识体系结构图

下面这张SVG图，把四大类去噪算法的硬件特性做了可视化对比。你可以用它做项目选型的快速参考。

2.7 我的选型建议

说了这么多，到底怎么选？我个人的经验是：

• 资源受限的嵌入式设备（FPGA、低端ASIC）：空域滤波是王道。3×3高斯+中值，效果够用，资源可控。
• 中高端安防/监控：空域+时域混合滤波，再加一个轻量级NLM做后处理。效果和成本平衡得最好。
• 旗舰手机/云端服务器：直接上深度学习。但要做好模型压缩和量化，否则功耗压不住。
• 特殊场景（医学影像、卫星遥感）：频域滤波有时有奇效，因为噪声在频域里分布有规律。