1. AI ISP 概述：什么是 AI ISP、传统 ISP vs AI ISP、端侧 AI ISP 的挑战与机遇
各位同学，欢迎来到《端侧 AI ISP 推理性能优化实战》的第一章。
咱们先聊聊，到底什么是 AI ISP？
ISP，全称 Image Signal Processor，图像信号处理器。传统 ISP 是手机、相机里的一块专用硬件，负责把 CMOS 传感器采集到的原始 RAW 数据，变成一张我们肉眼看着舒服的 RGB 图像。这个过程包括去噪、去马赛克、白平衡、色彩校正、锐化等等，一整套流水线。
那 AI ISP 呢？说白了，就是用神经网络模型，去替代或者辅助传统 ISP 里的某些模块。比如用卷积神经网络（CNN）做去噪，用生成对抗网络（GAN）做超分，用 Transformer 做色彩重建。我最早接触 AI ISP 是在 2019 年，当时一个客户想把传统 3A 算法里的自动白平衡换成一个小模型，结果效果出奇的好。嗯，从那以后我就开始关注这个方向了。
1.1 传统 ISP vs AI ISP：到底差在哪？
我习惯从三个维度去对比：处理逻辑、画质上限、硬件依赖。
| 对比维度 | 传统 ISP | AI ISP |
|---|---|---|
| 处理逻辑 | 固定流水线，参数手动调优 | 数据驱动，端到端学习 |
| 画质上限 | 受限于物理模型和硬件精度 | 理论上可逼近真实场景 |
| 硬件依赖 | 专用 ISP 芯片，低功耗 | 需要 GPU/NPU，功耗高 |
| 场景适应性 | 弱光、逆光场景容易翻车 | 通过训练数据可覆盖极端场景 |
| 调试周期 | 按周计，调参数靠经验 | 按月计，调模型靠数据 |
传统 ISP 的优点是稳定、低延迟、低功耗。你想想看，一颗手机 ISP 芯片跑 4K 60fps 的流水线，功耗可能才几百毫瓦。但它的天花板也很明显——遇到复杂光照、极低照度、或者大动态范围场景，传统算法就吃力了。
AI ISP 正好相反。它能学出传感器噪声的分布，能还原出人眼都看不清的暗部细节。我在项目中遇到过最夸张的一个案例：用 AI ISP 把 0.1 lux 下的 RAW 图，恢复出了可用的彩色图像。传统 ISP 在这种光照下基本就是一片漆黑。
但 AI ISP 也有硬伤——计算量太大。一个轻量级的去噪模型，跑在手机 NPU 上，处理 1080p 图像可能就要几十毫秒。如果要做 4K 实时，那算力需求直接翻四倍。这就是我们这门课要解决的核心问题。
核心观点：AI ISP 不是要完全取代传统 ISP，而是两者协同。传统 ISP 负责基础流水线，AI ISP 负责画质增强和极端场景修复。我建议你在做方案选型时，先评估场景复杂度，再决定 AI 介入的深度。
1.2 端侧 AI ISP 的挑战与机遇
为什么我们要单独讨论「端侧」？因为云端 AI ISP 已经相对成熟了——服务器上有大算力 GPU，模型可以很大，延迟要求也不那么苛刻。但端侧不一样。
端侧设备包括手机、安防摄像头、无人机、AR/VR 眼镜、车载摄像头等等。这些设备的共同特点是：功耗受限、算力受限、散热受限、实时性要求高。
我总结了一下，端侧 AI ISP 面临四大挑战：
- 算力瓶颈：端侧 NPU 的算力通常在 1-10 TOPS 之间，而一个中等规模的 U-Net 去噪模型，单帧推理就需要 0.5-2 TOPS 的算力。如果要做 30fps 实时，算力需求直接乘以帧率。
- 内存带宽：AI ISP 处理的是高分辨率图像，4K 单帧 RAW 数据就有 12MB 以上。模型推理时的特征图读写，对 DDR 带宽是巨大压力。我曾经在某个项目里，发现模型推理时间只有 30%，但数据搬运占了 70%。
- 功耗墙：手机 SoC 的 NPU 峰值功耗通常在 2-5W，但 ISP 流水线是持续运行的。如果 AI ISP 模块功耗超过 1W，手机就会发热降频，帧率直接掉一半。
- 实时性：摄像头预览和录像要求端到端延迟低于 100ms，甚至 50ms。模型推理、前后处理、数据搬运，每个环节都要优化到极致。
避坑指南：我曾经在一个安防项目里，直接拿云端训练好的模型往端侧移植，结果推理速度只有 2fps，功耗还超标 3 倍。后来老老实实做了模型剪枝、量化、算子替换，才把帧率拉到 25fps。所以，端侧 AI ISP 的模型设计，必须从部署角度反向推导，不能先训一个大模型再想办法压缩。
当然，挑战背后也是机遇。端侧 AI ISP 的市场正在爆发：
- 手机影像：旗舰机都在卷计算摄影，AI ISP 是差异化卖点。
- 智能安防：低照度、宽动态场景，传统 ISP 搞不定，AI ISP 是刚需。
- 车载感知：环视摄像头、舱内摄像头，对画质和实时性要求极高。
- AR/VR：透视（See-Through）功能需要低延迟、高画质的 ISP 流水线。
你想想看，如果能把 AI ISP 的推理性能优化到传统 ISP 的功耗水平，那这个市场有多大？
1.3 AI ISP 知识体系总览
为了让大家对这门课有一个整体认知，我画了一张知识体系图。这张图会贯穿我们整个课程。
这张图展示了我们课程的核心脉络。从 AI ISP 核心概念出发，延伸到传统 ISP 流水线、AI 模型设计、端侧部署优化三大支柱，再往下是性能优化的关键指标和工具链，最后落到具体的落地场景。每一章都会围绕这张图展开。
学习建议：我建议你把这张图保存下来，每学完一章，就在对应的节点上做笔记。这样学完 30 章，你脑子里会形成一张完整的知识网络，而不是零散的知识点。
好了，第一章就到这里。我们先把 AI ISP 的「是什么」和「为什么」搞清楚，后面几章会深入每个技术细节。记住一句话：端侧 AI ISP 的优化，本质是在算力、功耗、画质三者之间找平衡。这门课就是教你如何找到这个平衡点。