1. ISP Pipeline 全景概览：从 CMOS 传感器到 RGB 图像
各位同学，咱们今天聊点实在的。你手里拿的手机、桌上的监控摄像头、甚至车载的环视系统，里面都藏着一套 ISP（Image Signal Processor）。说白了，它就是让 CMOS 传感器“看见”世界的翻译官。
我刚开始接触 ISP 时，以为传感器拍出来就是一张漂亮的照片。后来在项目中调了三个月图像质量，才发现——传感器输出的原始数据，简直是一团乱麻。
1.1 CMOS 传感器到底输出了什么？
CMOS 传感器每个像素只能感知光的强度，不认颜色。为了获取彩色信息，工程师在像素表面覆盖了一层 Bayer 滤色阵列（Bayer Pattern）。
最常见的排列是 RGGB：
- 50% 绿色像素（人眼对绿光最敏感）
- 25% 红色像素
- 25% 蓝色像素
所以传感器输出的原始数据（RAW）是一个 单通道 的马赛克图像。每个像素只记录了 R、G、B 中的一种分量。
关键认知：RAW 数据不是 RGB 图像。它只是一个灰度马赛克，每个像素值代表该位置滤色片允许通过的光能量。
我在一个安防项目中遇到过，有人直接把 RAW 数据当灰度图显示，结果画面全是棋盘格纹理。嗯，这就是没理解 Bayer 格式的本质。
1.2 ISP Pipeline 的完整链路
从 RAW 到 RGB，中间要经过一串处理模块。我习惯把 ISP Pipeline 分成三个阶段：
| 阶段 | 核心模块 | 主要作用 |
|---|---|---|
| 前端预处理 | 黑电平校正、Lens Shading、坏点校正 | 修复传感器物理缺陷，补偿光学不均匀性 |
| 核心处理 | 去马赛克、白平衡、Gamma 校正、色彩校正 | 从 RAW 重建全彩色，恢复真实色彩与亮度 |
| 后处理增强 | 降噪、锐化、色调映射、边缘增强 | 提升视觉质量，适配显示设备 |
你想想看，每个模块都有自己的一套算法。在 FPGA 上部署时，我们得考虑数据流、带宽、延迟和资源消耗。不是所有算法都适合硬件实现。
我的建议：初学者先别急着看每个模块的细节。先把 Pipeline 的输入输出搞清楚——RAW 进来，RGB 出去，中间每一步都在修正什么。
1.3 ISP 在成像链路中的位置
完整的成像链路是这样的：
- 场景光线 → 镜头 → CMOS 传感器 → RAW 数据
- RAW 数据 → ISP Pipeline → RGB/YUV 图像
- RGB/YUV 图像 → 编码器/显示器/存储设备
ISP 处于中间枢纽位置。它决定了最终图像的质量上限。镜头再好、传感器再贵，ISP 算法拉胯，出图一样没法看。
我记得有一次调试车载摄像头，传感器是索尼的 IMX390，镜头也是德国进口的。结果 ISP 参数没调好，晚上画面全是彩色噪点。后来花了整整两周优化降噪和 Gamma 曲线，才把图像质量拉回来。
避坑指南：我曾经在 FPGA 上直接移植 PC 端的 ISP 算法，结果资源爆了。硬件加速不是简单地把 C 代码翻译成 Verilog。你得理解算法的数据依赖、并行度和流水线结构。
1.4 ISP Pipeline 核心流程图
下面这张图是我自己总结的 ISP 标准流程。每个模块在 FPGA 上都有对应的硬件加速方案，后续章节我们会逐个拆解。
1.5 为什么 FPGA 适合做 ISP 加速？
CPU 做 ISP 太慢，GPU 功耗太高。FPGA 在中间找到了平衡点：
- 流水线并行：每个模块可以独立流水，数据像工厂流水线一样流过
- 低延迟：从 RAW 输入到 RGB 输出，延迟可以控制在几微秒到几毫秒
- 可重构：同一片 FPGA，白天跑 4K 视频 ISP，晚上可以重配置跑雷达信号处理
- 功耗可控：典型 ISP 加速卡功耗 5-15W，远低于 GPU
个人经验：我在一个工业相机项目中，用 Xilinx Zynq 实现了完整的 ISP Pipeline。1080p@60fps 的处理延迟只有 2.3ms，功耗不到 8W。同样的算法在 ARM Cortex-A72 上跑，延迟 45ms，功耗 12W。差距就在这里。
1.6 本章小结
这一章我们理清了 ISP 在成像链路中的位置：
- CMOS 传感器输出的是 Bayer RAW 数据，不是 RGB
- ISP Pipeline 分为 前端预处理、核心处理、后处理增强 三个阶段
- FPGA 的 流水线并行 和 低延迟 特性，天然适合 ISP 硬件加速
后面的课程，我们会从黑电平校正开始，逐个模块深入。每个模块我都会给出 FPGA 实现方案、资源消耗估算和实际项目中的避坑经验。