1. 课程导论：AI ISP 的演进与端侧挑战，模型轻量化的必要性
1.1 从传统 ISP 到 AI ISP：一场必然的进化
做图像处理的工程师都知道，传统 ISP（Image Signal Processor） pipeline 已经存在了几十年。它像一条固定的流水线——黑电平校正、去噪、白平衡、去马赛克、色彩校正、伽马校正……每个模块各司其职，参数靠工程师手动调优。
但问题来了。真实世界的场景太复杂了——暗光、逆光、运动模糊、混合光源。传统 ISP 的线性处理逻辑，说白了就是「一刀切」。遇到极端场景，画质直接崩掉。
我 2018 年刚接触手机摄像头调试时，遇到过一件印象深刻的事。某款旗舰机在夜景模式下，天空噪点压下去了，但人脸肤色变成了蜡黄色。调了三天参数，始终顾此失彼。后来团队引入了一个轻量 CNN 做后处理修复，效果立竿见影。嗯，从那时起我就意识到——AI 进入 ISP pipeline 不是锦上添花，而是必然趋势。
AI ISP 的核心思路很简单：用神经网络替代或增强传统 ISP 中的某些模块。比如用 U-Net 做去噪，用 GAN 做超分，用轻量分类网络做自动白平衡。它不再是「规则驱动」，而是「数据驱动」。
1.2 端侧部署：理想很丰满，现实很骨感
把 AI ISP 模型塞进手机、无人机、IoT 摄像头里，跟云端部署完全是两码事。我见过太多团队在 PC 上跑出惊艳效果，一上设备就「翻车」。
端侧部署的三大硬约束，你想想看：
- 算力墙： 手机 NPU 算力通常在 1-10 TOPS，跟云端 GPU 的几百 TOPS 没法比。模型推理一次不能超过 30ms，否则视频卡顿。
- 内存墙： 端侧 RAM 通常 4-8GB，但系统、App、后台服务已经吃掉大半。留给 AI ISP 的推理内存可能只有几十 MB。
- 功耗墙： 连续拍照或录像时，NPU 功耗不能超过 500mW，否则手机发烫、掉电快。
| 维度 | 云端部署 | 端侧部署 |
|---|---|---|
| 算力 | 100-1000 TOPS | 1-10 TOPS |
| 内存 | 16-64 GB | 50-200 MB（可用） |
| 功耗 | 200-500 W | 0.1-0.5 W |
| 延迟要求 | 100-500 ms | 10-30 ms |
我曾经参与过一个项目，模型在 PC 上 PSNR 达到 38dB，量化后掉到 35dB，但上机后发现推理时间 45ms——远超 30ms 的预算。最后不得不把模型从 3.2M 参数砍到 0.8M，才勉强跑通。这就是端侧的现实：效果要让位于效率。
1.3 模型轻量化：不是「减配」，而是「重构」
很多人以为模型轻量化就是「把大模型变小」，比如剪掉一些通道、量化成 INT8。其实没那么简单。轻量化不是简单的减法，而是针对端侧硬件特点的系统性重构。
我个人习惯把轻量化技术分为三个层次：
- 结构层： 设计更高效的网络结构。比如用 Depthwise Separable Conv 替代标准卷积，用 MobileNet、ShuffleNet 这类轻量骨干网络。
- 压缩层： 剪枝、量化、知识蒸馏。把训练好的大模型「瘦身」，同时尽量保住精度。
- 系统层： 算子融合、内存复用、推理引擎优化。这部分跟硬件绑得很紧，不同 NPU 的优化策略完全不同。
下面这张图展示了 AI ISP 模型从设计到端侧部署的完整流程，以及轻量化技术介入的位置：
1.4 为什么这门课值得你花时间？
市面上讲模型轻量化的资料不少，但大多偏理论。要么讲剪枝的数学原理，要么讲量化的算法细节。真正把「轻量化」和「端侧 AI ISP」结合起来，并且给出可落地经验的课程，说实话不多。
这门课我会从三个角度切入：
- 算法视角： 哪些轻量化技术对 ISP 任务最有效？为什么某些技术在分类任务上表现好，在图像恢复任务上却翻车？
- 工程视角： 如何把 PyTorch 模型转换成端侧推理引擎能跑的格式？INT8 量化后精度掉了怎么办？
- 实战视角： 我会带着你完整走一遍——从模型设计、训练、压缩、量化，到最终在手机 NPU 上跑通一个 AI ISP 模型。