第一章：ISP基础与课程导论
各位同学好，我是这门课的主讲。做了十几年ISP芯片设计，从最早的130万像素做到现在的8K，踩过的坑确实不少。今天咱们先聊聊基础——别觉得基础就简单，很多问题恰恰出在基础上。
1.1 图像传感器原理
图像传感器，说白了就是把光信号转成电信号的器件。目前主流就两种：CCD和CMOS。CCD现在基本退出了消费市场，咱们重点看CMOS。
CMOS传感器核心结构
- 像素阵列：几百万到几亿个感光单元排成矩阵
- 行选/列选电路：逐行读出像素信号
- ADC：模数转换器，把模拟电压转成数字码
- 时序控制：控制曝光、读出、复位等操作
每个像素里面其实就是一个光电二极管加几个晶体管。光照射到二极管上产生电子，电子积累形成电压。曝光时间越长，电压越高。嗯，这里要注意——电压和光强不是完全线性的，这就是后面要讲的Gamma校正的由来。
我记得刚入行时调试一款500万像素的传感器，发现暗部细节总是丢失。折腾了两周，最后发现是像素复位时序没调对。所以啊，传感器时序这东西，真不能马虎。
1.2 ISP流水线概述
ISP，Image Signal Processor，图像信号处理器。传感器出来的原始数据叫RAW图，不能直接给人看。为什么？你想想看，RAW数据是Bayer格式的，每个像素只有一种颜色分量，而且还有噪声、暗角、偏色等问题。
ISP流水线就是把这些RAW数据一步步处理成我们能看的、好看的图像。我习惯把ISP分成三个阶段：
| 阶段 | 处理模块 | 目标 |
|---|---|---|
| 前端预处理 | 黑电平校正、去噪、坏点校正 | 消除传感器固有缺陷 |
| 中间处理 | 去马赛克、白平衡、色彩校正 | 恢复真实色彩 |
| 后端增强 | Gamma校正、锐化、色调映射 | 提升视觉体验 |
下面这张图是我自己画的ISP流水线框架，你们先有个整体印象：
我的经验：ISP流水线不是一成不变的。低端芯片可能只有5-6个模块，高端芯片能到20多个。关键是要理解每个模块在干什么，为什么放在这个位置。
1.3 课程目标
这门课的目标很明确——让你能独立设计并验证一个可综合的ISP流水线RTL。具体来说：
- 掌握ISP核心算法：从数学原理到硬件实现
- 学会RTL设计方法：流水线架构、时序优化、面积权衡
- 搞定FPGA验证：仿真、调试、上板测试
- 积累实战经验：每个模块都有真实案例和避坑指南
我曾经带过一个新人，理论学得挺好，但写出来的RTL综合后时序一塌糊涂。为什么？因为他没考虑数据路径的平衡。这门课里我会把这些实战细节都讲透。
1.4 实验环境搭建
工欲善其事，必先利其器。咱们的实验环境分三块：
| 工具 | 版本建议 | 用途 |
|---|---|---|
| Vivado | 2020.1及以上 | RTL综合、仿真、FPGA实现 |
| ModelSim/Questa | 10.6c及以上 | 功能仿真、波形调试 |
| Python | 3.8+ | 算法建模、测试向量生成 |
| MATLAB | 2020a+（可选） | 图像处理算法原型验证 |
注意：Vivado版本别用太新的，2021以后的版本对部分IP核有兼容性问题。我建议用2020.1，稳定，资料也多。
硬件平台方面，我推荐Xilinx Artix-7或Zynq-7000系列。为什么？性价比高，资源够用，而且社区支持好。咱们课程里所有代码都在Artix-7上验证过。
搭建步骤其实很简单：
- 安装Vivado，选WebPACK版就够用
- 安装ModelSim，配置好库路径
- 装Python，pip安装numpy、opencv-python
- 下载课程提供的RTL模板和测试脚本
避坑指南：我曾经在Vivado和ModelSim的版本匹配上吃过亏。记住，Vivado自带的仿真器是XSim，但咱们课程用ModelSim，因为调试更方便。配置时注意把ModelSim设为默认仿真器。