4、音视频采集与输入：摄像头传感器（OV5640等）、麦克风阵列、I2S/PDM接口、CSI/DSI接口配置与数据采集流程

嵌入式音视频系统的起点是物理世界的信号采集。无论是智能门禁中的摄像头、语音助手中的麦克风阵列，还是车载DMS中的驾驶员监控，其本质都是将光信号和声波信号转换为数字比特流，并送入SoC或应用处理器进行后续处理。本章将围绕摄像头传感器（以OV5640为例）、麦克风阵列、I2S/PDM数字音频接口以及CSI/DSI显示与摄像头接口展开，深入解析硬件连接、寄存器配置、数据流时序以及实际调试中的关键要点。

4.1 摄像头传感器接口与配置流程

4.1.1 核心原理：从光信号到MIPI数据包

以OV5640为代表的CMOS图像传感器，内部集成了感光像素阵列、模拟前端（AFE）、ADC转换器、数字信号处理器（DSP）以及输出接口。其核心工作流程为：像素阵列在曝光时间内积累光生电荷，通过行/列选通读出模拟电压，经ADC转换为数字信号，再经过黑电平校正、镜头阴影补偿、色彩插值等ISP处理，最终通过DVP并行接口或MIPI CSI-2串行接口输出。

在实际嵌入式系统中，传感器与SoC之间通常存在两条独立通道：控制通道（I2C/SCCB）用于读写寄存器，数据通道（MIPI CSI-2或DVP）用于传输图像数据。OV5640的SCCB接口兼容I2C协议，地址为0x3C（写）/0x3D（读），支持最高400kHz的速率。MIPI CSI-2接口则采用差分信号对（D0P/D0N、D1P/D1N等），配合时钟通道（CLKP/CLKN），每个通道的数据速率可达1Gbps以上。

4.1.2 操作流程：OV5640初始化与数据采集

摄像头驱动的初始化流程通常遵循以下步骤：

1. 电源上电时序：先给AVDD（2.8V）、DOVDD（1.8V）上电，再给DVDD（1.5V）上电，最后拉高RESET引脚，等待至少20ms稳定。
2. 时钟配置：由SoC提供XVCLK（通常为24MHz），传感器内部PLL倍频产生像素时钟。
3. SCCB寄存器配置：通过I2C写入分辨率、帧率、曝光、增益、白平衡等参数。例如设置输出格式为YUV422，分辨率1280x720@30fps。
4. MIPI接口初始化：配置SoC的CSI-2控制器，设置Lane数、数据格式、虚拟通道号。
5. 启动数据流：写入0x4800寄存器使能输出，等待VSYNC信号。

// OV5640 初始化片段（I2C写入）
static struct regval_list ov5640_720p_settings[] = {
    {0x3103, 0x11}, // 系统时钟使能
    {0x3008, 0x82}, // 软复位
    {0x3008, 0x42}, // 退出复位
    {0x3808, 0x05}, // 输出宽度高字节 (1280)
    {0x3809, 0x00}, // 输出宽度低字节
    {0x380A, 0x02}, // 输出高度高字节 (720)
    {0x380B, 0xD0}, // 输出高度低字节
    {0x4800, 0x24}, // MIPI 使能
    // ... 更多寄存器配置
};

4.1.3 案例拆解：基于i.MX8M Plus的OV5640调试

在某智能门禁项目中，使用i.MX8M Plus处理器通过MIPI CSI-2连接OV5640。初始现象是图像全黑且无VSYNC中断。通过示波器测量发现：XVCLK正常，但MIPI时钟通道无输出。进一步检查I2C通信，发现传感器ID读取失败（返回0xFF）。分析原因是DOVDD电压实际为1.5V而非规格要求的1.8V，导致I2C电平不匹配。调整电源芯片输出后，传感器ID正确读取，图像输出正常。此案例说明，电源时序和电平匹配是摄像头调试的首要检查项。

4.2 麦克风阵列与I2S/PDM接口

4.2.1 核心原理：数字麦克风与时分复用

麦克风阵列用于声源定位、波束成形和噪声抑制。常见的数字麦克风输出格式有两种：PDM（脉冲密度调制）和I2S（Inter-IC Sound）。PDM麦克风内部集成Sigma-Delta调制器，输出1-bit数据流，由SoC的PDM控制器进行抽取滤波得到PCM数据。I2S则直接输出多bit（16/24/32-bit）的PCM数据，需要外部编解码器（Codec）或SoC内置的I2S控制器接收。

I2S接口包含三条主要信号线：BCLK（位时钟）、LRCLK（左右声道选择）、DIN/DOUT（数据）。对于麦克风阵列，通常使用TDM（时分复用）模式，将多个麦克风的数据在同一数据线上分时传输。例如，4个麦克风通过TDM时隙0-3传输，每个时隙16-bit，帧同步信号为LRCLK。

4.2.2 操作流程：PDM麦克风配置与数据读取

以NXP i.MX8M Plus的PDM接口为例，配置流程如下：

1. 引脚复用：将PDM_CLK、PDM_DATA0-3引脚配置为ALT模式。
2. 时钟配置：设置PDM根时钟频率，通常为24.576MHz（256*48kHz）。
3. 滤波器配置：设置抽取率（如64），使输出PCM采样率为48kHz。
4. DMA配置：将PDM接收数据映射到DMA通道，实现内存搬运。
5. 启动采集：使能PDM接口，开始接收数据。

// PDM 配置示例（Linux设备树）
&pdm {
    pinctrl-names = "default";
    pinctrl-0 = &pinctrl_pdm;
    assigned-clocks = &clk IMX8MP_CLK_PDM_ROOT;
    assigned-clock-parents = &clk IMX8MP_AUDIO_PLL1_OUT;
    assigned-clock-rates = <49152000>;
    status = "okay";
};

4.2.3 案例拆解：4麦克风阵列的同步采集

在智能音箱项目中，需要同步采集4个MEMS麦克风进行波束成形。采用4颗ICS-43434（I2S输出）麦克风，通过TDM4模式连接到SoC的SAI接口。初始调试时发现第2、3通道数据错位。分析原因是TDM时隙配置错误，SAI的帧同步信号与BCLK的相位关系不正确。通过示波器观察LRCLK与BCLK的时序，发现LRCLK高电平期间应传输左声道数据，但实际配置为低电平有效。修正寄存器配置后，4通道数据正确对齐。

4.3 CSI/DSI接口配置与数据流管理

4.3.1 核心原理：MIPI协议分层

MIPI CSI-2（摄像头）和DSI（显示）接口共享相同的物理层（D-PHY），但协议层不同。CSI-2采用分层架构：物理层（D-PHY）负责差分信号传输；协议层负责数据包封装、错误检测（ECC/CRC）；应用层定义像素格式（YUV、RGB、RAW）。DSI则增加了命令模式，支持视频模式和命令模式两种数据传输方式。

在SoC内部，CSI控制器接收MIPI数据后，通过DMA将帧数据写入DDR内存。对于多摄像头应用，CSI控制器支持虚拟通道（Virtual Channel）区分不同传感器数据。DSI控制器则从内存读取帧缓冲，通过MIPI DSI发送到显示面板。

4.3.2 操作流程：CSI-2数据通路配置

4.3.3 案例拆解：双摄像头切换的时序优化

在车载DMS系统中，需要同时使用红外摄像头（用于驾驶员监控）和可见光摄像头（用于行车记录）。两个摄像头共享同一MIPI CSI-2接口，通过虚拟通道区分。实际调试中发现，切换摄像头时出现图像撕裂。分析原因是切换过程中DMA地址未及时更新，导致新旧帧数据混合。解决方案是采用双缓冲机制，在帧中断中交替使用两个DMA缓冲区，确保切换瞬间数据完整性。