一、课程导论：AI ISP 混合架构概述

各位同学，欢迎来到《AI ISP 混合架构相机系统图像处理实战》的第一章。

我是这门课的主讲。在图像传感器和 ISP 领域摸爬滚打了十几年，踩过不少坑，也积累了一些经验。今天咱们先聊聊这门课到底要讲什么，以及为什么我觉得「混合架构」是未来几年相机系统绕不开的方向。

1.1 传统 ISP 的局限

先说说传统 ISP。说白了，它就是一套固定的硬件流水线。从 Bayer 数据进来，经过黑电平校正、去噪、白平衡、去马赛克、色彩校正、Gamma 校正……一路走到 YUV 输出。每一步都有固定的算法和参数。

我在 2016 年做过一个项目，给一款安防摄像头调 ISP。场景是夜间低光照，路灯下还有运动车辆。传统 ISP 的降噪模块一开，运动拖影就出来了；关掉降噪，噪点又满天飞。调了整整两周参数，最后还是只能二选一。

为什么会这样？因为传统 ISP 有几个硬伤：

• 参数固化：一套参数很难同时适配白天、夜晚、逆光、运动等不同场景。
• 模块独立：降噪、锐化、色彩增强各干各的，互相打架。降噪把细节磨没了，锐化又把噪点放大了。
• 场景盲区：它不知道画面里是天空、人脸还是草地，只能靠全局统计量做一刀切。
• 升级困难：算法想改？得重新流片。我见过不少团队，算法在 PC 上跑得挺好，一上硬件就废了。

1.2 AI ISP 的优势

AI ISP 就不一样了。它用神经网络替代了部分或全部传统模块。比如用 CNN 做去噪、用 GAN 做超分、用 Transformer 做色彩重建。

我印象最深的一个案例：2020 年帮一家手机厂商调夜景模式。传统 ISP 拍出来的照片，暗部全是彩色噪点，亮部又过曝。换成 AI ISP 之后，同样的传感器，暗部干净得像白天拍的，高光细节也保留得很好。当时团队里一个同事说：「这玩意儿像开了挂。」

AI ISP 的核心优势：

• 场景理解：网络能识别天空、人脸、树叶，然后针对性地处理。天空降噪强一点，人脸保留纹理，树叶别锐化过度。
• 端到端优化：不再分模块调参，直接输入 RAW、输出 RGB，网络自己学怎么平衡降噪和细节。
• 持续进化：模型可以远程更新，不用换硬件。我见过一个车载项目，OTA 升级一次模型，夜间识别率直接涨了 8%。
• 超分辨率：传统 ISP 做不了的事，AI 能。比如从 1/4 像素尺寸恢复出高清纹理。

1.3 混合架构的核心理念

那怎么办？我个人的习惯是：把传统 ISP 和 AI ISP 结合起来。这就是混合架构。

核心思路很简单：

1. 传统 ISP 做基础：处理 Bayer 数据、做黑电平校正、去马赛克、Gamma 校正。这些模块成熟、低功耗、低延迟。
2. AI ISP 做增强：在关键节点插入神经网络。比如在去噪后做 AI 降噪残留清理，在色彩校正后做 AI 色彩风格迁移。
3. 动态切换：根据场景自动选择走传统路径还是 AI 路径。光照好就走传统，省电；光照差就走 AI，保画质。

我曾经在一个车载环视项目中用过这种方案。白天用传统 ISP，帧率 60fps，功耗不到 1W；晚上自动切到 AI ISP，帧率降到 30fps，但画质提升了两个档次。客户很满意，因为功耗和画质都兼顾了。

下面这张图展示了混合架构的典型流程：

1.4 课程目标与学习路径

这门课的目标很明确：让你能独立设计、实现、优化一套 AI ISP 混合架构系统。

具体来说，学完这门课，你应该能：

• 理解传统 ISP 每个模块的原理和局限
• 掌握 AI ISP 核心网络的设计思路（降噪、超分、色彩重建）
• 学会在嵌入式平台上部署 AI 模型（量化、剪枝、蒸馏）
• 能搭建混合架构，并做场景自适应切换
• 能调优画质和性能的平衡点

学习路径我建议这样走：