1. 课程导论与硬件基础:Sensor行业全景、主流接口对比、模组硬件组成

各位同学,欢迎来到《Sensor驱动与RAW域处理全流程实战》的第一章。咱们不绕弯子,直接切入正题。

做图像传感器驱动,说白了就是跟硬件打交道。你得先搞清楚这玩意儿长什么样、怎么连、行业里都在用什么。我见过不少新人,一上来就啃datasheet、调寄存器,结果连MIPI是差分对还是单端都没搞明白——嗯,这样很容易走弯路。

1.1 Sensor行业全景:谁在做?做什么?

先看大局。图像传感器市场,这几年增长很快。手机、汽车、安防、工业、医疗,到处都有它的影子。

应用领域 主流分辨率 帧率要求 典型接口
手机主摄 48M ~ 200M 30fps (预览) / 240fps (慢动作) MIPI CSI-2 (4-lane)
车载摄像头 1M ~ 8M 30fps ~ 60fps MIPI CSI-2 / LVDS / GMSL
安防监控 2M ~ 12M 15fps ~ 30fps MIPI CSI-2 / LVDS
工业相机 VGA ~ 12M 60fps ~ 1000fps LVDS / CoaXPress / USB3
医疗内窥 0.3M ~ 2M 30fps ~ 60fps MIPI CSI-2 (sub-LVDS)

从这张表你能看出什么?MIPI是消费电子的主流,LVDS在工业和车载领域依然坚挺。为什么?后面我会细讲。

行业里的头部玩家,大家应该都听过:Sony、Samsung、OmniVision、安森美、豪威科技。我个人习惯,做手机项目首选Sony,做车载项目首选安森美——不是别的,坑少。我在一个车载项目里用过某家小厂的sensor,结果温度一高,暗电流飙得离谱,后来再也不敢省这个成本了。

1.2 主流接口对比:MIPI vs LVDS

接口是sensor和SoC之间的桥梁。选错了,后面全是坑。

1.2.1 MIPI CSI-2

MIPI CSI-2是目前最主流的摄像头接口。它用差分信号传输,一对线就能跑几百Mbps到几Gbps。

  • 物理层:D-PHY或C-PHY。D-PHY最常见,1-lane到4-lane,每lane最高2.5Gbps(D-PHY v1.2)或4.5Gbps(D-PHY v2.0)。
  • 协议层:CSI-2定义了数据包格式,包括帧起始、行有效、数据类型(RAW8/10/12、YUV、JPEG等)。
  • 优点:引脚少、功耗低、抗干扰强、生态成熟。
  • 缺点:传输距离短(通常不超过30cm),需要精确的阻抗匹配。
避坑指南:我曾经在一个项目中,MIPI走线长了5cm,结果信号眼图闭合,sensor死活不输出图像。后来加了retimer才解决。记住,MIPI走线越短越好,等长控制在±5mil以内。

1.2.2 LVDS

LVDS是低压差分信号,比MIPI更老,但在工业和车载领域依然活跃。

  • 物理层:一对差分线,通常7对(4对数据+1对时钟+2对控制)。
  • 协议层:没有像CSI-2那样统一的标准,各家sensor厂商有自己的协议封装。
  • 优点:传输距离远(可达10米以上)、抗干扰能力强、时序要求相对宽松。
  • 缺点:引脚多、功耗高、协议不统一、调试麻烦。

你想想看,为什么车载摄像头还在用LVDS?因为车上的线束长,MIPI扛不住。我做过一个项目,摄像头在车头,SoC在车尾,中间隔了5米线。用MIPI?信号早衰减没了。最后还是老老实实上了LVDS加解串器。

对比项 MIPI CSI-2 (D-PHY) LVDS
每lane速率 最高4.5 Gbps 最高1.2 Gbps
典型lane数 1 ~ 4 4 ~ 8
传输距离 < 30 cm > 10 m
功耗 低 (约1.2 mW/Gbps/lane) 中 (约2.5 mW/Gbps/lane)
协议标准化 高 (CSI-2统一) 低 (各厂商自定义)
调试难度 中 (需眼图测试) 低 (逻辑分析仪即可)

1.3 Sensor模组硬件组成:镜头、滤光片、感光芯片

一个完整的sensor模组,不是只有那块芯片。它由三大部分组成:镜头、滤光片、感光芯片。每一部分都直接影响图像质量。

1.3.1 镜头 (Lens)

镜头负责把光线聚焦到感光芯片上。它的参数很多,但作为驱动工程师,你至少得关注这几个:

  • 焦距:决定视场角。焦距越短,视角越宽。
  • 光圈:决定进光量。F值越小,光圈越大,进光越多。
  • 畸变:广角镜头常见桶形畸变,长焦镜头常见枕形畸变。RAW域处理时要做校正。
  • MTF:调制传递函数,衡量镜头解析力的核心指标。

我建议你在选型时,别只看分辨率。镜头MTF跟不上,sensor像素再高也是白搭。我在一个项目中遇到过,sensor是12M的,镜头MTF在200lp/mm时只有0.2,拍出来的照片糊成一片。后来换了镜头,效果立竿见影。

1.3.2 滤光片 (IR Filter / CFA)

滤光片分两种:

  1. IR-Cut滤光片:截止红外光,防止偏色。白天用,晚上要切掉(通过IR-Cut切换器)。
  2. 彩色滤光阵列 (CFA):最常见的是Bayer阵列,RGGB。每个像素只感光一种颜色,其他颜色通过插值得到。

这里有个关键点:滤光片的透过率曲线直接影响色彩还原。我调试过一款sensor,拍出来的红色总是偏紫。查了半天,发现是CFA的R通道透过率峰值偏向了近红外。后来在RAW域做了白平衡补偿才搞定。

1.3.3 感光芯片 (Image Sensor Die)

这是核心。感光芯片把光信号转换成电信号。它的关键参数:

参数 说明 典型值
像素尺寸 单个像素的物理大小 0.8µm ~ 5µm
满阱容量 像素能容纳的最大电子数 1000e- ~ 100000e-
量子效率 光子转换为电子的比例 50% ~ 90%
暗电流 无光照时的漏电流 10e-/s ~ 1000e-/s
读出噪声 读出电路引入的噪声 1e- ~ 10e-
注意:像素尺寸越小,分辨率越高,但信噪比越差。0.8µm的像素在暗光下噪点会非常明显。如果你做手机项目,白天没问题,晚上就得靠多帧合成来救。

1.4 知识结构图:Sensor模组与接口全景

下面这张图,把sensor模组的硬件组成和接口关系串起来了。你仔细看一遍,后面章节都会围绕这些模块展开。

Sensor模组与接口全景图 Sensor模组硬件组成与接口全景 场景光线 镜头 滤光片 感光芯片 像素阵列 读出电路 ADC 时序控制 MIPI CSI-2 LVDS 说明: 光线经过镜头→滤光片→感光芯片,在像素阵列中完成光电转换,经ADC量化后, 通过MIPI或LVDS接口输出RAW数据。驱动工程师的工作就是控制这个流程的时序和参数。

1.5 本章小结

这一章,我们走了一遍sensor行业的全景,对比了MIPI和LVDS的差异,也拆解了模组的硬件组成。你可能会觉得内容有点多,但这些都是后面调试的基础。

记住一句话:驱动工程师不只是写代码的人,你首先得懂硬件。不懂硬件,你连sensor为什么不出图都查不出来。

核心要点回顾:
  • MIPI CSI-2是消费电子主流,LVDS在车载/工业领域仍有优势
  • 模组三大件:镜头(聚焦)、滤光片(分色)、感光芯片(光电转换)
  • 像素尺寸越小,分辨率越高,但暗光性能越差
  • 接口选型要考虑传输距离、功耗、协议兼容性

好,第一章就到这里。内容不算少,但都是干货。你消化一下,后面我们就要开始动手了。