1. 课程导论：Sensor与ISP协同工作全景图
大家好，我是这门课的主讲。在嵌入式图像领域摸爬滚打了十几年，我见过太多项目因为Sensor和ISP配合不好而翻车。有的画面偏色严重，有的帧率上不去，有的干脆黑屏——说白了，都是这两兄弟没沟通好。
这门课就是来解决这个问题的。我们不只讲Sensor驱动怎么写，也不只讲ISP算法怎么调，而是把两者放在一起，讲清楚它们怎么协同工作。
1.1 为什么需要协同？
先看一个典型场景。你写好了Sensor驱动，能读到RAW图了。扔给ISP处理，结果画面全是条纹。你以为是Sensor坏了，换一块还是这样。折腾两天，发现是Sensor的HBlank配置和ISP的DMA传输没对齐。
这种坑，我踩过不止一次。所以课程一开始，我们先画一张全景图，把整个链路看清楚。
核心观点：Sensor是眼睛，ISP是大脑。眼睛看到的东西，大脑得能理解；大脑要什么，眼睛得能配合。两者之间的接口、时序、数据格式，任何一个对不上，画面就出问题。
1.2 课程目标
学完这门课，我希望你能做到三件事：
- 独立完成Sensor驱动开发——从I2C配置到MIPI CSI-2传输，能调通、能出图。
- 理解ISP核心Pipeline——知道每个模块干什么，参数怎么调，效果怎么评估。
- 打通Sensor与ISP的协同——遇到问题知道是Sensor侧还是ISP侧，能快速定位、修复。
我个人习惯把目标拆成可验证的里程碑。比如第一周能出RAW图，第二周能跑通ISP Pipeline，第三周能调出可用的画面。这样心里有数，不会迷茫。
1.3 学习路径
课程分四个阶段，每个阶段都有明确的交付物：
| 阶段 | 章节 | 核心内容 | 交付物 |
|---|---|---|---|
| 基础篇 | 1-5 | Sensor接口、I2C/SPI、MIPI CSI-2、RAW格式 | Sensor驱动框架代码 |
| 进阶篇 | 6-12 | ISP Pipeline、BLC、AWB、Demosaic、CCM | ISP参数调优报告 |
| 实战篇 | 13-22 | Sensor+ISP联调、帧同步、曝光控制、HDR | 完整图像采集系统 |
| 优化篇 | 23-30 | 性能优化、功耗控制、多Sensor同步、调试工具 | 量产级方案 |
你想想看，如果一上来就调ISP参数，连Sensor的曝光时间都没搞对，那不是白忙活吗？所以路径很重要，别跳步。
1.4 硬件平台与软件工具链
课程用的硬件平台是市面上主流的ARM SoC + 通用MIPI Sensor组合。具体型号我会在后续章节展开，这里先给个概览：
- 主控芯片：支持MIPI CSI-2接口的ARM Cortex-A系列SoC，带ISP硬件模块。
- Sensor：OV系列或SONY系列，支持RAW10/RAW12输出。
- 开发板：带FPC连接器、I2C总线、GPIO控制的通用评估板。
软件工具链方面，我建议你提前装好这些：
| 工具 | 用途 | 备注 |
|---|---|---|
| 交叉编译工具链 | 编译Sensor驱动 | ARM GCC，版本不低于10.3 |
| I2C调试工具 | 读写Sensor寄存器 | i2c-tools，配合逻辑分析仪更佳 |
| MIPI分析工具 | 抓取MIPI CSI-2数据 | 示波器或专用协议分析仪 |
| ISP调优工具 | 调整ISP参数 | 厂商提供的GUI工具或命令行接口 |
| 图像质量评估工具 | 分析SNR、MTF、色差 | Imatest或开源方案 |
我的建议：别急着买昂贵的分析仪。前期用i2c-tools + 逻辑分析仪就能解决90%的问题。等做到HDR和多Sensor同步时，再考虑上专业工具。
1.5 知识体系全景图
下面这张图，是我自己梳理的Sensor与ISP协同开发的知识体系。每次带新人，我都会先让他们看这张图，心里有个全局概念。
这张图把整个知识体系分成四层：Sensor驱动层、接口与传输层、ISP处理层，以及底部的协同开发关键点。每一层都有对应的章节深入讲解。
1.6 避坑指南
最后，分享几个我早期踩过的坑，希望能帮你省点时间：
我曾经在一个项目里，Sensor输出的是RAW10格式，但ISP配置成了RAW12。结果画面全是错位的像素，我花了三天查Sensor驱动，最后发现是ISP侧配置少改了一个bit。所以，数据格式一致性是第一要检查的。
另一个教训：别相信Sensor默认寄存器值。每次上电后，一定要重新配置所有关键寄存器，包括那些你以为是默认值的。我遇到过Sensor厂商改了默认值但没更新文档的情况。