一、课程导论：深度学习降噪为什么重要？ISP管线的基本流程，课程目标与学习路径
1.1 为什么降噪是ISP管线里的“硬骨头”？
做图像处理的工程师都知道，降噪从来不是个新话题。但为什么这几年深度学习降噪突然火起来了？
我个人习惯把手机拍照的链路拆开来看。传感器感光面积就那么大，物理限制摆在那里。为了在暗光下拍清楚，ISO一拉高，噪声就跟着上来了。传统降噪算法——双边滤波、非局部均值、BM3D——我用了很多年。说实话，效果在大部分场景下是够用的。
但问题出在哪？
你想想看，传统降噪本质上是在做“假设”。假设噪声是高斯分布，假设图像是分段平滑的。可真实世界的噪声哪有那么乖？
核心痛点：传统降噪在低光、高ISO、纹理密集区域容易“糊掉”细节。而深度学习模型能学习噪声的真实分布，在去噪的同时保留边缘和纹理。
我在项目中遇到过一件事。某款旗舰机的夜景模式，用传统算法跑，拍出来的树叶像水彩画。换了轻量级CNN模型之后，纹理清晰度提升了至少30%。嗯，这就是深度学习降噪的价值——它不是替代传统算法，而是补上了传统算法够不着的那块短板。
1.2 ISP管线的基本流程
要讲清楚深度学习降噪怎么部署，得先知道它插在ISP管线的哪个位置。我画了一张图，你看一眼就明白了。
这张图里我标红了深度学习降噪的位置。为什么放在这里？
去马赛克之后，图像已经变成了RGB三通道，色彩信息完整。这时候做降噪，模型能同时利用亮度和色度信息。如果放在去马赛克之前（RAW域），虽然也能做，但需要处理拜耳阵列的特殊排布，模型结构会更复杂。
我的建议：初学者先从RGB域降噪入手。等把部署流程跑通了，再回头挑战RAW域降噪。别一上来就啃硬骨头。
1.3 传统降噪 vs 深度学习降噪
我整理了一张对比表，把两种方案的差异列清楚。
| 对比维度 | 传统降噪（BM3D等） | 深度学习降噪 |
|---|---|---|
| 原理 | 基于手工设计的先验假设 | 从数据中学习噪声分布 |
| 细节保留 | 纹理区域容易过平滑 | 能更好保留高频细节 |
| 泛化能力 | 对非高斯噪声效果差 | 可适配多种噪声类型 |
| 计算量 | 较低（CPU可跑） | 较高（需GPU/NPU加速） |
| 部署难度 | 低（纯C/C++实现） | 高（需模型转换+量化+优化） |
| 维护成本 | 调参繁琐，场景适配差 | 数据驱动，迭代方便 |
你看，深度学习降噪的优势很明显，但代价也不小——计算量大、部署流程复杂。这也是为什么这门课要专门讲“部署实战”。
1.4 课程目标与学习路径
这门课的目标很明确：让你能独立把一个深度学习降噪模型，部署到真实的ISP管线里跑起来。
不是只讲理论，也不是只调个Python demo。我们要做的是端到端的工程落地。
具体来说，学完这门课，你应该能：
- 理解ISP管线中降噪模块的接口规范——输入输出是什么格式，数据流怎么走
- 掌握模型轻量化技术——剪枝、量化、蒸馏，把模型塞进手机芯片
- 完成模型转换与推理优化——PyTorch → ONNX → TensorRT / NCNN / MNN
- 处理实际部署中的精度损失问题——量化掉点怎么修，边界效应怎么处理
- 搭建自动化测试与评测流程——PSNR、SSIM、LPIPS，还有主观画质评估
避坑提醒：我曾经在部署一个U-Net降噪模型时，忽略了输入输出的数据排布问题。模型在PC上跑得好好的，上板之后图像全花了。查了两天才发现是NHWC和NCHW的转换没做对。这种坑，这门课里我会一个一个帮你踩平。
学习路径我建议这样走：
- 基础篇（第1-5章）：ISP管线回顾 + 降噪模型选型 + 数据集构建
- 模型优化篇（第6-12章）：剪枝、量化、蒸馏、结构重参数化
- 部署实战篇（第13-22章）：ONNX导出、TensorRT部署、NCNN移动端部署、MNN端侧优化
- 工程落地篇（第23-30章）：流水线集成、性能调优、自动化测试、持续迭代
每一章我都会给出一段可运行的代码，配合实际项目中的踩坑记录。你跟着做一遍，基本就能上手了。
1.5 本章小结
这一章我们聊了三件事：
- 深度学习降噪为什么重要——因为它能补传统算法的短板，尤其在低光和纹理场景
- ISP管线的基本流程——从RAW到YUV，降噪模块插在去马赛克之后、锐化之前
- 课程目标与学习路径——从模型优化到端侧部署，一步步落地