1. AI ISP 概述：传统 ISP 的局限性、AI ISP 的兴起、混合架构的必要性
各位同学，欢迎来到《AI ISP 混合架构落地实战》的第一章。
我是这门课的主讲。在芯片行业摸爬滚打了十几年，从传统的 ISP 设计一路做到 AI 芯片部署。说实话，这个领域变化太快了。几年前大家还在争论「AI 能不能用在 ISP 里」，现在已经在讨论「怎么把 AI 和传统 ISP 焊在一起」了。
这一章，我们先不急着写代码。先把概念理清楚。你只有知道「为什么」要这么做，后面学「怎么做」的时候才不会跑偏。
1.1 传统 ISP 的局限性
传统 ISP 是什么？说白了，就是一套固定的图像处理流水线。从 Sensor 拿到 RAW 数据，然后做黑电平校正、去噪、白平衡、Demosaic、色彩校正、Gamma 校正……一路走到 YUV 输出。这套流程用了二十多年，非常成熟。
但它有几个硬伤。
传统 ISP 的三大硬伤：
- 参数固化，场景适应性差——一套参数调好了白天，晚上就崩。调好了室内，室外又过曝。
- 去噪与细节保留的矛盾——降噪强了，细节没了。细节保住了，噪声又回来了。这是个死循环。
- HDR 合成伪影——多帧合成时，运动物体边缘的鬼影问题，传统算法几乎无解。
我记得有一次做安防摄像头项目。客户要求「夜间看清车牌」。传统 ISP 调了三个月，降噪开到最大，车牌是看清了，但人脸糊成一片。客户说：「我要的是能看清人脸的车牌。」嗯，这就很尴尬了。
为什么会这样？因为传统 ISP 的每个模块都是独立优化的。去噪模块不知道后面要做边缘增强，白平衡模块不知道当前场景是逆光。它们之间没有「沟通」。说白了，就是各干各的。
| 对比维度 | 传统 ISP | AI ISP |
|---|---|---|
| 场景适应性 | 固定参数，需手动调优 | 数据驱动，自动适配 |
| 去噪与细节 | 强去噪必丢细节 | 可同时保留纹理 |
| HDR 鬼影 | 运动检测+融合，效果有限 | 端到端学习，伪影更少 |
| 调优成本 | 每颗 Sensor 调 2-3 个月 | 模型泛化，调优周期缩短 |
1.2 AI ISP 的兴起
AI ISP 不是突然冒出来的。大概 2018 年左右，学术界开始用 CNN 做去噪和超分。效果确实惊艳。一张满是噪点的 RAW 图，丢进网络，出来一张干净得不像话的照片。
但问题也来了——算力。一个去噪网络跑在 GPU 上，处理一张 1080p 的图要几百毫秒。这在安防、手机、车载场景里根本没法用。你想想看，视频流 30fps，每帧只有 33ms 的处理时间。几百毫秒？客户早就骂人了。
我的经验：AI ISP 落地的核心不是「模型精度有多高」，而是「在芯片上能跑多快」。我曾经把一个 50M 参数的去噪模型硬塞进一个 2T 算力的 NPU 里。结果是——精度 39dB，帧率只有 8fps。客户说：「精度不错，但我要 30fps。」嗯，重来吧。
所以 AI ISP 的兴起，其实是两个因素共同推动的：
- 算法进步——轻量化网络（MobileNet、ShuffleNet、EfficientNet）让模型可以在端侧跑。
- 芯片进步——NPU、DSP、GPU 的算力提升，让 AI 推理不再是瓶颈。
但这里有个坑。很多人以为「AI ISP = 用神经网络替换整个 ISP 流水线」。我告诉你，这是错的。至少目前是错的。
1.3 混合架构的必要性
为什么不能全用 AI？两个原因。
第一，算力成本。 全 AI 的 ISP，意味着从 RAW 到 YUV 的每一步都用网络替代。一个 4K@60fps 的流水线，需要的算力是天文数字。目前没有任何一款移动芯片扛得住。
第二，可解释性。 传统 ISP 的每个模块都有明确的物理意义。黑电平就是黑电平，白平衡就是白平衡。出了问题，工程师可以逐级排查。全 AI 的 ISP 是个黑盒。图像偏色了，你都不知道是哪个层出了问题。
避坑指南：我曾经见过一个团队，试图用单个端到端网络替代整个 ISP。训练了三个月，在实验室数据集上 PSNR 高达 42dB。结果一上真实场景，颜色全偏。为什么？因为训练数据里没有极端色温场景。这个教训告诉我——AI 不是万能的，传统 ISP 的物理先验知识不能丢。
所以，业界的主流方案是混合架构。简单说就是：
- 传统 ISP 处理确定性强的模块（黑电平、Gamma、色彩校正）
- AI 处理传统算法搞不定的模块（去噪、HDR 合成、超分、AWB 场景识别）
- 两者通过「胶水逻辑」协同工作
下面这张图，是我个人习惯用的混合 ISP 架构图。你可以看到，AI 模块像「插件」一样嵌入到传统流水线中。
你看，传统 ISP 处理了 80% 的「常规」工作，AI 只负责那 20% 的「疑难杂症」。这样既保证了实时性，又提升了画质。这就是混合架构的核心思想——各取所长。
1.4 课程目标与学习路径
这门课的目标很明确：让你能独立设计并部署一套 AI ISP 混合架构。不是纸上谈兵，是真刀真枪地落地。
学习路径我分成四个阶段：
- 基础篇（第 1-8 章）——传统 ISP 核心模块 + AI 基础。如果你对 ISP 不熟，这部分必须啃下来。
- 算法篇（第 9-16 章）——AI 去噪、HDR、超分、AWB 等核心算法的设计与轻量化。
- 部署篇（第 17-24 章）——模型量化、NPU 算子适配、流水线优化。这是我最擅长的部分。
- 实战篇（第 25-30 章）——完整项目案例。从需求分析到芯片选型，再到调试验证。
我的建议：如果你时间有限，可以直接跳到部署篇。但说实话，我见过太多人「跳过基础直接部署」，结果连 ISP 流水线的基本时序都没搞懂，最后 debug 到崩溃。嗯，你自己看着办。
好了，第一章就到这里。概念讲清楚了，后面我们直接上手。