一、AI ISP概述：从传统到智能的演进
各位同学好，我是这门课的主讲。做了十几年图像信号处理，从传统ISP一路干到AI ISP混合架构，踩过的坑确实不少。今天咱们先聊聊AI ISP到底是什么，它解决了哪些传统ISP解决不了的问题。
1.1 什么是AI ISP
AI ISP，说白了就是把深度学习技术塞进图像信号处理流程里。传统ISP靠的是人工设计的算法——去噪用均值滤波、降噪用BM3D、色彩校正靠3D LUT。而AI ISP用神经网络来干这些活，甚至能端到端地完成整个pipeline。
我习惯把AI ISP分成两类：
- 模块替代型：用CNN替换传统ISP中的某个模块，比如用神经网络做去噪
- 端到端型：从RAW图直接到最终图像，中间所有处理都由一个网络完成
目前业界主流还是模块替代型，毕竟端到端模型的可控性和调试难度都比较大。我在做第一代AI ISP芯片时，就吃过端到端模型的亏——模型在实验室跑得好好的，一上真实场景就崩。
1.2 传统ISP的局限性
传统ISP发展了三四十年，已经很成熟了。但它的天花板也很明显。我列个表，大家看得更清楚：
| 维度 | 传统ISP的痛点 | 实际表现 |
|---|---|---|
| 低光照 | 噪声与细节不可兼得 | 降噪强则细节丢，细节保则噪声大 |
| 高动态 | 多帧融合有鬼影 | 运动物体边缘发虚、重影 |
| 场景适应性 | 参数固定，场景一变就崩 | 室内调好的参数，室外偏色严重 |
| 去马赛克 | 边缘伪彩、锯齿 | 文字边缘彩色条纹，看着难受 |
| 调试成本 | 几十个模块参数互相耦合 | 调一个参数，三个地方出问题 |
举个例子。我在做安防摄像头项目时，传统ISP在夜间模式下的表现让人头疼。降噪开大了，车牌号码糊成一片；降噪开小了，画面全是雪花点。你想想看，这种场景下怎么交差？
核心矛盾：传统ISP本质上是线性或分段线性系统，而真实世界的图像退化是非线性的。用线性工具去解非线性问题，天花板就在那里。
1.3 AI ISP的核心优势
AI ISP为什么能突破传统ISP的天花板？我总结了几点：
- 非线性拟合能力：神经网络天生擅长拟合复杂非线性映射。去噪的同时保留纹理细节，这在传统ISP里是trade-off，在AI ISP里可以同时做到。
- 场景自适应：同一个模型，白天黑夜室内室外都能处理。我在项目中测试过，AI ISP在逆光场景下的表现比传统ISP好两个档次。
- 端到端优化：传统ISP每个模块独立调优，全局最优解很难找到。AI ISP可以联合优化整个pipeline。
- 超分辨率：传统ISP做超分效果有限，AI ISP可以做到2x甚至4x无损放大。
个人经验：AI ISP在去马赛克+去噪联合处理上，效果提升最明显。传统ISP先做去马赛克再做去噪，噪声会被放大。AI ISP可以同时处理，效果提升肉眼可见。
1.4 混合架构的演进路线
AI ISP不是要完全取代传统ISP。实际上，纯AI方案在功耗、延迟、可控性上都有问题。所以业界的主流方向是混合架构——传统ISP和AI ISP各取所长。
我画了一张演进路线图，大家看看：
从这张图能看出来，混合架构不是一步到位的。我建议初学者先走阶段2，用AI替换一个模块试试水。等摸熟了再往阶段3走。
1.5 混合架构的关键设计原则
做混合架构，有几个原则我特别想强调：
- 延迟优先：AI模块不能拖累整个pipeline。我在项目中遇到过AI去噪模块跑一次要50ms，整个系统帧率直接掉到20fps以下。后来不得不做模型剪枝和量化。
- 可控性：传统ISP的每个参数都能调，AI ISP不能是个黑盒。要保留调试接口。
- 功耗预算：AI模块的算力消耗要严格控制。移动端通常只有2-3W的ISP功耗预算。
避坑指南：我曾经在一个项目中，为了追求画质把AI模型做得很大。结果芯片面积超标，功耗压不住，最后不得不砍掉一半的AI模块。记住——画质、功耗、面积，三者只能取其二。
1.6 本章小结
这一章我们聊了AI ISP的基本概念、传统ISP的痛点、AI ISP的优势，以及混合架构的演进路线。核心就一句话：AI ISP不是要取代传统ISP，而是和它互补。