1. 摄像头项目概述：工作原理、架构与选型
做摄像头开发这些年，我最大的感触就是——懂原理的人，调试起来事半功倍。很多人一上来就调寄存器、改驱动，结果画面花屏、颜色不对、帧率上不去，折腾半天才发现是硬件选型就埋了坑。
这一章，咱们先把摄像头项目的全局地图画清楚。你搞懂了它怎么工作、整体怎么搭、硬件怎么选，后面每一章才有落脚点。
1.1 摄像头工作原理：光怎么变成数字信号？
说白了，摄像头就是个光电转换器。光进来，变成电，再变成数字，最后送到你的处理器里。
我习惯把整个过程拆成四步：
- 镜头聚光：把外界景物成像到传感器表面
- 传感器光电转换：每个像素点把光强转成电压
- 模拟前端（AFE）处理：放大、去噪、模数转换
- ISP（图像信号处理器）输出：做白平衡、色彩校正、去马赛克，最终输出你想要的格式
核心知识点：传感器上的每个像素其实只感知亮度，不感知颜色。颜色是靠拜耳阵列（Bayer Pattern）上的滤光片 + 插值算法算出来的。你想想看，一个200万像素的传感器，真正能感知红绿蓝的像素其实各只有一部分。
我在项目中遇到过一个问题：客户说画面偏绿，怎么调白平衡都不对。查到最后，是传感器型号的Bayer排列顺序和ISP配置的不一致。嗯，这种坑，光看datasheet还真不容易发现。
1.2 项目整体架构：从镜头到应用层
一个完整的摄像头项目，不是只有传感器和驱动。我习惯把它分成四层：
| 层级 | 包含模块 | 我的经验 |
|---|---|---|
| 光学层 | 镜头、IR滤光片、保护玻璃 | 镜头畸变和分辨率直接影响画质，别只看价格 |
| 传感器层 | CMOS/CCD传感器、时钟、电源 | 电源纹波大，画面会出现横纹，我吃过这个亏 |
| 接口与传输层 | MIPI、DVP、USB、以太网 | 接口选型决定了你的带宽上限和布线难度 |
| 处理与应用层 | ISP、驱动、算法、应用 | 这一层是软件工程师的主战场 |
下面这张图，是我自己项目里常用的架构图，你可以参考：
我的习惯：做项目规划时，先把这四层的接口协议和数据格式定死。比如传感器输出是RAW10还是RAW12，MIPI是2-lane还是4-lane。这些一旦定下来，后面改起来成本极高。
1.3 硬件选型：别让选型成为项目的天花板
选型这件事，我踩过的坑比调过的驱动还多。你想想看，一个摄像头项目，传感器、镜头、接口、主控芯片，哪个选错了都是灾难。
我总结了一套选型四步法：
- 定分辨率与帧率：先算带宽。比如1080p@30fps，RAW10格式，带宽 = 1920×1080×30×10 = 622 Mbps。MIPI 2-lane够不够？4-lane呢？
- 定传感器型号：看光照条件。室内用卷帘快门，户外运动场景用全局快门。我有个项目选了卷帘快门拍高速运动物体，结果画面扭曲得像哈哈镜。
- 定镜头接口：M12、CS口、C口，决定了你的光学性能和机械尺寸。
- 定主控平台：有没有内置ISP？算力够不够跑算法？
| 参数 | 低端方案 | 中端方案 | 高端方案 |
|---|---|---|---|
| 分辨率 | VGA ~ 720p | 1080p ~ 2K | 4K ~ 8K |
| 接口 | DVP / USB 2.0 | MIPI 2-lane / USB 3.0 | MIPI 4-lane / GMSL |
| 传感器 | OV7670 / MT9V034 | IMX219 / OV5640 | IMX477 / AR0820 |
| 典型场景 | 玩具摄像头、门禁 | 行车记录仪、无人机 | 工业检测、自动驾驶 |
我曾经踩过的坑：选了一颗号称支持1080p@60fps的传感器，结果发现它的MIPI接口只有2-lane，实际带宽根本跑不满。后来只能降帧率到30fps。所以，选型时一定要算带宽余量，留20%的余量是底线。
1.4 接口介绍：MIPI、DVP、USB怎么选？
接口是摄像头和主控之间的高速公路。路太窄，数据堵车；路太宽，成本高、布线难。
我按使用频率排个序：
- MIPI CSI-2：目前最主流。差分信号，抗干扰强，带宽高。4-lane最高能到6Gbps以上。手机、行车记录仪、工业相机都在用。
- DVP（并行接口）：老协议了，但还在用。优点是简单，缺点是信号线多（10~12根），高频下容易串扰。我建议只在低分辨率（VGA以下）项目里用。
- USB：即插即用，适合PC端摄像头。UVC协议让驱动开发变得简单，但延迟比MIPI高。
- 以太网（GigE / GMSL）：远距离传输首选。GMSL在车载领域很常见，一根同轴线能传视频、控制信号和供电。
我的建议：如果你做嵌入式摄像头项目，优先选MIPI CSI-2。它生态成熟，主控支持好，调试工具也多。我这些年做的项目，80%都是MIPI接口。
好了，这一章的内容就这些。你先把摄像头的工作原理、四层架构、选型思路和接口特点理清楚。后面每一章，我们都会围绕这些基础展开。