一、AI ISP 概述：什么是 AI ISP

各位同学好，我是这门课的主讲。咱们直接进入正题——AI ISP。

ISP 全称是 Image Signal Processor，图像信号处理器。传统 ISP 你肯定见过，手机相机、监控摄像头、车载摄像头里都有。它的任务就是把 CMOS 传感器输出的原始 RAW 数据，变成一张你能看懂的、色彩自然的图片。

那 AI ISP 是什么？说白了，就是用神经网络去替代或者辅助传统 ISP 里的某些模块。不是把整个 ISP 都换成模型，而是把那些传统算法搞不定的、调参调到吐的环节，交给神经网络来做。

我最早接触 AI ISP 是在一个低光照项目里。传统 ISP 在暗光下噪点压不住，细节也丢得厉害。试了各种降噪参数，效果都不理想。后来试着用一个小模型替换掉降噪模块，效果直接上了一个台阶。嗯，从那以后我就开始认真研究这条路了。

传统 ISP 与 AI ISP 的对比

先看一张对比表，这样更直观：

你想想看，传统 ISP 的流水线是固定的：黑电平校正、去噪、去马赛克、白平衡、色彩校正、Gamma 校正……每一步都有几十个参数。而且这些参数是耦合的，调了 A 模块，B 模块的效果就变了。我见过有工程师花了两周调一套参数，换了个 sensor 又得重来。

AI ISP 的思路不一样。它用神经网络直接学习从 RAW 到 RGB 的映射，或者学习某个中间环节的优化。举个例子，去噪模块换成一个小型 U-Net，效果比传统 BM3D 还好，而且泛化能力强很多。

但这里有个坑——算力。传统 ISP 是专用硬件流水线，功耗极低。AI ISP 跑在 NPU 上，功耗和延迟是硬约束。我在一个端侧项目里试过，模型稍微大一点，帧率就掉到 15fps 以下。所以后面咱们课程会花大量时间讲量化、剪枝、蒸馏这些优化手段，就是为了解决这个问题。

AI ISP 的应用场景与价值

我梳理了几个最典型的落地场景：

• 手机摄影：夜景模式、人像模式、超分变率。现在旗舰机的夜景模式基本都用了 AI ISP 技术。
• 安防监控：低光照监控、雾天增强、运动模糊去除。安防场景对实时性要求高，模型必须轻量。
• 车载摄像头：ADAS 和自动驾驶对图像质量要求极高，尤其是夜间和恶劣天气。AI ISP 可以显著提升感知系统的输入质量。
• 医疗内窥镜：低光照、高噪声环境下的图像增强，帮助医生看得更清楚。
• 工业视觉：缺陷检测中的图像预处理，提升检测精度。

它的价值体现在三个层面：

1. 画质提升：在传统 ISP 的瓶颈场景下，AI ISP 能带来肉眼可见的改善。
2. 开发效率：数据驱动的方式减少手动调参工作量，模型可以复用和迁移。
3. 差异化竞争：对于手机厂商、安防厂商来说，AI ISP 是拉开体验差距的关键技术。

我曾经参与过一个安防项目，客户要求在 0.01 lux 的超低光照下还能看清人脸。传统 ISP 完全做不到，噪点比信号还强。我们用了一个 1.2M 参数的轻量模型，在端侧 NPU 上跑到 30fps，效果客户很满意。这就是 AI ISP 的典型价值——解决传统方案解决不了的问题。

AI ISP 知识体系总览

下面这张图概括了本章的核心知识点，也是咱们整个课程的技术地图：

这张图把咱们课程的技术路线讲清楚了。左边是传统 ISP 基础，中间是深度学习模型设计，右边是端侧部署优化。三者缺一不可。

我个人习惯把 AI ISP 项目分成三个阶段：

• 第一阶段：吃透传统 ISP 的瓶颈在哪里。不懂传统，你都不知道模型该替换哪个模块。
• 第二阶段：设计轻量模型，做好数据准备和训练。模型不是越大越好，端侧对参数量和计算量有硬约束。
• 第三阶段：量化、剪枝、部署。这一步最容易被忽视，但也是项目能否落地的关键。

我曾经见过一个团队，模型在 GPU 上跑效果很好，量化到 INT8 后精度掉了 5 个点，项目直接延期。所以咱们课程会花大量篇幅讲量化实战，包括 PTQ、QAT、混合精度量化这些内容。

好，第一章就到这里。内容不多，但都是基础。后面的章节咱们会一步步深入，从传统 ISP 流水线开始，再到模型设计、量化部署，最后用完整项目串起来。准备好了吗？咱们继续。