4、摄像头输入管线组成：图像采集、格式转换、预处理、推理、后处理、显示/传输的完整链路

在Ethos-U人体检测应用中，摄像头输入管线决定了模型能否在资源受限的MCU上稳定、低延迟地运行。与PC或服务器端不同，MCU端没有操作系统统一管理外设，也没有大容量内存缓冲帧数据，因此每一级管线都必须精确设计，避免数据拷贝、格式不匹配或带宽瓶颈。本章将完整拆解从摄像头传感器到最终显示/传输的六段链路，并针对Ethos-U的硬件特性给出可落地的工程实现方法。

上图展示了Ethos-U人体检测摄像头输入管线的完整数据流。与通用Linux摄像头框架不同，MCU端管线强调零拷贝和硬件并行。从传感器输出的原始数据经过DMA直接搬运到内存，CPU仅在帧完成中断时进行格式转换和预处理，推理任务完全交给Ethos-U NPU，最后CPU只做轻量级后处理和显示控制。下面逐级展开工程细节。

4.1 图像采集：DCMI接口与DMA双缓冲机制

核心原理：STM32系列MCU通常集成DCMI（Digital Camera Interface）接口，支持8/10/12/14位并行数据输入，兼容OV2640、OV7670等常见摄像头传感器。DCMI接口自带像素时钟同步、行/帧同步信号，能够自动将传感器输出的数据打包为32位字写入内存。关键设计在于使用DMA双缓冲模式：当DMA正在将当前帧数据写入Buffer A时，CPU可以同时处理Buffer B中的上一帧数据，帧完成中断触发缓冲切换。

操作流程：

1. 初始化DCMI接口：配置像素时钟极性、同步信号极性、数据宽度（通常8位）
2. 配置DMA为循环模式，设置两个内存目标地址（Buffer A和Buffer B），每个缓冲区大小 = 图像宽度 × 高度 × 2字节（RGB565）
3. 使能DCMI捕获和DMA传输，等待帧完成中断
4. 在中断服务函数中切换当前活动缓冲区指针，并通知应用层处理

常见误区：初学者容易在中断服务函数中直接进行图像处理，导致下一帧数据覆盖当前缓冲区。正确做法是中断中仅置位标志位，主循环中检测到标志后再处理数据，确保DMA始终有可用缓冲区。

4.2 格式转换：RGB565到RGB888的查表优化

核心原理：大多数低成本摄像头传感器输出RGB565格式（16位/像素），而Ethos-U的输入张量通常要求RGB888（24位/像素）或直接使用量化后的uint8三通道。格式转换看似简单，但逐像素位运算在MCU上会消耗大量CPU周期。以96×96分辨率为例，共9216个像素，每个像素需要约10条指令完成位提取和移位，总计约9万条指令，在100MHz主频下耗时约0.9ms，占CPU预算的10%以上。

优化方法：

• 查表法：将RGB565的R通道（5位）和B通道（5位）分别建立32项查找表，G通道（6位）建立64项查找表，将5位值映射到8位值（乘以255/31或255/63）。转换时仅需三次查表和三次存储，每条指令周期从10条降至3条。
• DMA+硬件CRC：如果MCU支持DMA的byte-swap功能，可以在DMA传输时自动完成字节序调整，减少CPU干预。
• 直接使用RGB565输入：如果模型允许，可以在训练时就将输入归一化到RGB565范围，省去转换步骤。但需注意Ethos-U的输入量化参数需相应调整。

// 查表法RGB565→RGB888转换核心代码
static const uint8_t r_table[32] = {0, 8, 16, 24, ...}; // 5位→8位映射
static const uint8_t g_table[64] = {0, 4, 8, 12, ...}; // 6位→8位映射
static const uint8_t b_table[32] = {0, 8, 16, 24, ...};

void rgb565_to_rgb888(const uint16_t *src, uint8_t *dst, uint32_t len) {
    for (uint32_t i = 0; i < len; i++) {
        uint16_t p = src[i];
        *dst++ = r_table[(p >> 11) & 0x1F];
        *dst++ = g_table[(p >> 5) & 0x3F];
        *dst++ = b_table[p & 0x1F];
    }
}

案例拆解：某项目使用OV2640输出RGB565，在STM32H743上运行Ethos-U55人体检测模型。初始版本使用逐位运算转换，单帧转换耗时1.8ms，导致总帧率仅8FPS。改用查表法后，转换时间降至0.4ms，帧率提升至12FPS，CPU占用率从45%降至20%。代价是额外占用约200字节的ROM存储查找表，在MCU上完全可忽略。

4.3 预处理：缩放、裁剪与归一化的融合设计

核心原理：Ethos-U模型通常接受固定尺寸输入（如96×96×3），而摄像头输出可能是QVGA（320×240）或更高分辨率。预处理需要完成：裁剪（去除无关区域）、缩放（双线性插值或最近邻）、归一化（将uint8像素值映射到模型输入范围，通常为[-1,1]或[0,1]）。在MCU上，这三个操作应融合为单次遍历，避免中间缓冲。

操作流程：

1. 根据模型输入尺寸和摄像头分辨率计算裁剪区域（通常居中裁剪）
2. 计算缩放比例，确定源像素坐标映射关系
3. 对每个目标像素，从源图像读取对应像素（最近邻）或周围4个像素（双线性）
4. 将像素值减去均值并乘以缩放系数，得到量化后的int8值
5. 按NHWC或NCHW布局写入Ethos-U输入张量

性能对比：

方法	CPU周期/像素	96×96总耗时	内存占用	适用场景
最近邻+手动归一化	8	0.7ms	无额外缓冲	低功耗、帧率要求不高
双线性+查表归一化	15	1.3ms	无额外缓冲	检测精度要求较高
DMA2D硬件加速	2	0.2ms	需配置LUT	STM32F7/H7系列

4.4 推理：Ethos-U执行与Vela编译优化

核心原理：Ethos-U是Arm推出的微神经网络处理器，支持INT8/INT16量化模型。它通过Vela编译器将TFLite模型转换为Ethos-U可执行的命令流（CMD）和权重数据。推理时，CPU将输入张量写入Ethos-U的SRAM，通过寄存器触发执行，然后轮询或中断等待完成。Ethos-U内部并行处理卷积、池化、全连接等算子，CPU在推理期间可执行其他任务。

关键配置：

• 内存布局：输入张量、输出张量、权重和命令流必须放在Ethos-U可访问的SRAM区域，通常为DTCM或AXI SRAM
• 缓存策略：如果MCU有L1缓存，需确保输入/输出缓冲区标记为non-cacheable或使用cache clean操作，避免数据不一致
• 中断处理：Ethos-U完成推理后触发中断，CPU在中断中读取输出张量并启动后处理

// Ethos-U推理触发代码示例（基于CMSIS-NN驱动）
ethosu_device_init();
ethosu_inference_start(&inference_info);  // 设置输入/输出地址
// 等待中断或轮询状态寄存器
while (!ethosu_inference_wait()) {}
// 输出张量已就绪，开始后处理

案例拆解：某智能门锁项目使用Ethos-U55（128 MAC周期）运行MobileNetV2人体检测模型，输入96×96×3。Vela编译后模型大小约180KB，推理时间8.5ms。初始版本将输入张量放在普通RAM，导致每次推理前需执行cache clean操作，额外增加0.3ms。优化后将输入/输出缓冲区移至DTCM，消除了cache维护开销，推理时间降至8.2ms。同时，将权重放在外部QSPI Flash，通过XIP执行，节省了内部SRAM空间。

4.5 后处理：阈值过滤与坐标映射

核心原理：Ethos-U输出的通常是原始检测张量，包含边界框坐标、置信度和类别概率。后处理需要：阈值过滤（去除低置信度检测）、非极大抑制（NMS，去除重叠框）、坐标映射（将模型输出坐标映射回原始图像坐标）。在MCU上，NMS算法需简化，通常使用贪心策略或直接按置信度排序后逐个抑制。

操作流程：

1. 解析输出张量，提取每个候选框的坐标（通常为归一化值）和置信度
2. 过滤置信度低于阈值（如0.5）的候选框
3. 按置信度降序排序，依次检查与已保留框的IoU，若大于阈值（如0.5）则丢弃
4. 将保留框的坐标乘以原始图像尺寸，得到像素坐标

4.6 显示/传输：帧率控制与低延迟输出

核心原理：人体检测结果需要实时显示在LCD屏或通过UART/SPI传输到上位机。显示模块通常使用LTDC（LCD控制器）或SPI接口，传输模块使用UART或以太网。关键设计是帧率匹配：如果显示刷新率高于推理帧率，会造成画面撕裂；如果传输速率不足，会造成数据积压。

实现方案：

• LCD显示：使用LTDC+DBI接口，将检测结果叠加在原始图像上（绘制矩形框和标签），通过DMA2D加速图形绘制
• UART传输：使用DMA发送，将检测结果打包为JSON或二进制协议，波特率建议921600以上
• 帧率控制：使用定时器或RTC中断，限制最大输出帧率（如10FPS），避免CPU过载

案例拆解：某智能摄像头项目需要将检测结果通过Wi-Fi模块传输到手机APP。初始方案使用阻塞式UART发送，每帧数据（约200字节）在115200波特率下耗时17ms，导致帧率降至8FPS。优化后改用DMA发送，并将数据压缩为二进制格式（仅发送坐标和置信度），传输时间降至2ms，帧率恢复至12FPS。同时，在Wi-Fi模块中增加环形缓冲区，避免数据丢失。

4.7 完整链路性能调优与常见问题

性能预算分配：以96×96输入、12FPS目标为例，单帧时间预算为83ms。典型分配如下：采集+转换2.5ms（3%），预处理1.0ms（1.2%），推理8.5ms（10.2%），后处理1.5ms（1.8%），显示/传输3.0ms（3.6%），剩余66.5ms为CPU空闲时间，可用于其他任务或降低主频节能。

常见问题排查：

现象	可能原因	解决方案
图像花屏	DMA缓冲区未对齐或DCMI时序配置错误	检查缓冲区32位对齐，调整像素时钟极性
推理结果错误	预处理归一化参数与训练不一致	从Vela导出量化参数并硬编码
帧率低于预期	CPU在中断中处理耗时操作	中断仅置标志，主循环处理数据
显示画面撕裂	显示刷新与推理帧率不匹配	使用双缓冲显示或增加帧率控制