1. AI ISP 概述：从“调参数”到“学场景”
各位好，我是老张。在图像传感器领域摸爬滚打了十几年，今天咱们聊聊 AI ISP。
说实话，我第一次接触 AI ISP 时，心里是有点抵触的。你想啊，传统 ISP 那套 3A、去噪、锐化，我闭着眼睛都能调。突然来个神经网络，说“让模型自己学”——靠谱吗？
后来真在项目里用上了，我才发现：AI ISP 不是要取代传统 ISP，而是给传统 ISP 装上了一双“会看场景的眼睛”。
1.1 什么是 AI ISP？
AI ISP，全称是 Artificial Intelligence Image Signal Processor。说白了，就是用深度学习模型来替代或辅助传统 ISP 中的某些模块。
传统 ISP 靠的是工程师手动调参数——比如去噪强度、锐化阈值、Gamma 曲线。AI ISP 呢？它靠的是数据驱动。你给它喂几万张“白天/夜晚/逆光”的 raw 图，它自己就能学会怎么处理。
核心区别一句话：
- 传统 ISP：规则驱动，工程师写 if-else
- AI ISP：数据驱动，模型学映射关系
我习惯把 AI ISP 分成两类：
- 端到端型：raw 图进去，sRGB 图出来，中间全黑盒。效果惊艳，但调试起来像“炼丹”。
- 模块替换型：只替换传统 ISP 里的某个模块，比如去噪、demosaic、HDR 合成。这种更可控，也是目前工业界的主流做法。
我的经验：如果你刚接触 AI ISP，建议从模块替换型入手。我在一个安防项目里试过端到端方案，模型在实验室 PSNR 高得离谱，一上夜视场景直接崩了——因为训练数据里没覆盖到那种红外补光下的噪声分布。后来换成只替换去噪模块，配合传统 3A，稳得很。
1.2 传统 ISP 与 AI ISP 的对比
咱们直接上表格，看得更清楚。
| 对比维度 | 传统 ISP | AI ISP |
|---|---|---|
| 处理逻辑 | 固定算法 + 手动调参 | 神经网络 + 数据训练 |
| 场景适应性 | 弱，需要针对每个场景单独调参 | 强，一个模型覆盖多种场景 |
| 去噪效果 | 容易过平滑或保留噪声 | 能区分纹理和噪声，细节保留更好 |
| 色彩还原 | 依赖 AWB 精度，偏色常见 | 端到端学习色彩映射，更自然 |
| 调试成本 | 需要资深工程师调几周 | 需要数据采集 + 训练，但调参少 |
| 算力需求 | 低，DSP 即可 | 高，需要 NPU 或 GPU |
| 可解释性 | 强，每个模块效果可预期 | 弱，模型内部是黑盒 |
嗯，这里要注意：AI ISP 不是万能的。我在一个手机项目里遇到过，AI 去噪模型把夜景的灯光高光部分处理成了“油画感”——因为训练数据里高光样本太少。最后还是靠传统 ISP 的局部 tone mapping 兜底。
避坑指南：我曾经在一个项目中，团队为了追求“全 AI”，把传统 ISP 整个砍掉了。结果模型在暗光下出现严重的 color shift，回退到传统 ISP 做预处理才救回来。我的建议是：AI ISP 做加法，别做减法。保留传统 ISP 的 3A 和基础处理，用 AI 去增强那些传统方法搞不定的模块。
1.3 AI ISP 的典型应用场景
你想想看，哪些场景下传统 ISP 最头疼？
- 极暗光：信噪比低，传统去噪要么糊要么噪
- 大逆光：动态范围不够，亮部过曝暗部死黑
- 混合光源：AWB 容易翻车，色温乱跳
- 运动场景：去噪和防抖互相打架，鬼影严重
这些恰恰是 AI ISP 的强项。我列几个实际落地的场景：
场景一：手机夜景模式
这是 AI ISP 最成熟的应用。多帧融合 + AI 去噪，能在 1 lux 以下拍出可用的照片。我测过某旗舰机的夜景模式，AI 处理的细节比传统多帧合成多保留了 30% 以上。
场景二：安防监控
监控摄像头 24 小时工作，场景变化大。传统 ISP 需要针对白天、黄昏、夜晚各调一套参数。AI ISP 一个模型通吃，还能自动识别“雨雾天”做去雾增强。我在一个智慧城市项目里，用 AI ISP 替换了传统方案，夜间车牌识别率从 62% 提升到了 89%。
场景三：车载摄像头
车载对实时性要求极高。AI ISP 在这里主要做“局部增强”——比如在强光下恢复交通标志的细节，或者在隧道出入口做快速自适应。注意，车载场景必须保证低延迟，所以模型通常很小，用知识蒸馏压缩到 1MB 以内。
场景四：医疗内窥镜
这个场景比较特殊。内窥镜图像经常有烟雾、反光、组织纹理模糊。AI ISP 可以实时做去烟雾和纹理增强。我记得有个客户反馈，用了 AI ISP 后，医生在手术中能更清晰地分辨血管和病灶边界。
一个小技巧：在部署 AI ISP 时，我习惯在模型输入前加一个“场景分类器”。先判断当前是白天、夜晚、逆光还是运动，然后选择不同的模型分支。这样既保证了效果，又控制了算力开销。说白了，就是让 AI 先“看一眼”再决定怎么处理。
知识结构图：AI ISP 全景
下面这张图是我自己整理的，把 AI ISP 的核心概念、与传统 ISP 的关系、典型场景串起来了。你看一眼就能有个整体印象。
小结
这一章咱们把 AI ISP 的底子打好了。记住几个关键点：
- AI ISP 是数据驱动的，不是规则驱动的
- 模块替换型比端到端型更可控，适合工业落地
- 传统 ISP 是地基，AI ISP 是上层装修——别把地基拆了
- 应用场景集中在“传统 ISP 搞不定”的地方：暗光、逆光、混合光源、运动