1. STM32N6图像处理系统概览
STM32N6是ST在边缘AI方向的一次架构级跃迁：它把原本分散在“MCU+外挂加速器+独立ISP”方案中的能力，收敛到一颗带神经处理单元（NPU）的MCU上。理解这颗芯片，关键不是记住外设清单，而是看清三条数据通路如何协同——图像采集与处理通路（DCMIPP/ISP）、AI推理通路（Neural-ART NPU）、内存与总线通路（AXI/AHB、Cache、外部存储）。图像预处理与内存优化，本质上就是让这三条通路在带宽、延迟和精度之间取得平衡。
芯片架构：三条通路与两级存储
STM32N6的核心是800MHz的Arm Cortex-M55，带Helium向量扩展和TrustZone；与之紧耦合的是ST自研的Neural-ART NPU，官方标称约600 GOPS（INT8）。图像侧有DCMIPP（数字摄像头接口与图像处理流水线），它不只是“把MIPI CSI-2的数据搬进来”，而是内置了去马赛克、坏点校正、黑电平、白平衡、色彩转换、缩放、裁剪等ISP级功能。片上内存方面，STM32N6提供约4.2MB的连续SRAM，其中一部分可配置为NPU专用权重/激活缓存；外部则通过XSPI（Octo-SPI/HyperFlash/HyperRAM）和FMC扩展存储。
这里有一个容易被忽略的架构事实：NPU、Cortex-M55、DMA和显示控制器共享同一套内存子系统。当摄像头以较高分辨率、较高帧率写入帧缓冲，同时NPU读取权重和激活张量时，AXI总线上的竞争会直接表现为帧率下降或推理延迟抖动。因此“内存优化”不是单纯省RAM，而是带宽分配与访问模式优化。
NPU与ISP特性：各自解决什么问题
ISP解决的是“让图像看起来正确且适合后续处理”。以DCMIPP为例，它支持从RAW Bayer到RGB/YUV的完整转换，并可在硬件中完成缩放。这意味着如果模型输入是224×224，而传感器输出是1920×1080，你不需要让CPU或NPU去处理全分辨率图像，DCMIPP可以直接输出缩放后的尺寸，节省大量带宽和算力。
NPU解决的是“在低功耗下完成卷积类推理”。Neural-ART NPU支持INT8量化，权重和激活以张量形式流式读取。它的性能高度依赖数据供给：如果权重放在外部HyperRAM且未做预取，NPU会因等待数据而空转。因此，把频繁访问的权重和激活放在片上SRAM，把大帧缓冲放在外部存储，是STM32N6上常见的分层策略。
图像预处理在边缘AI中的定位
边缘AI的图像预处理不是“美化图片”，而是把传感器原始数据转换成模型可消费的张量。它通常包含：去马赛克、黑电平校正、白平衡、色彩空间转换、缩放、裁剪、归一化、量化。每一步都会影响最终精度。例如，训练时用的是RGB888归一化到[0,1]，部署时若直接送YUV422，精度会明显下降；训练时用了特定的均值方差，部署时也必须一致。
在STM32N6上，预处理可以分三处完成：DCMIPP硬件、Cortex-M55的Helium向量指令、NPU前处理层。选择依据是数据量和实时性。高分辨率缩放适合DCMIPP；逐像素归一化适合Helium；而量化到INT8通常由NPU工具链在模型转换时完成。
内存优化目标与整体学习路径
内存优化的第一目标是带宽。以1280×720、RGB888、30fps为例，单帧约2.76MB，每秒写入约83MB；若NPU同时读取权重和激活，总线压力会更大。第二目标是容量：双缓冲需要两帧，三缓冲需要三帧，4.2MB片上SRAM在720p下只能放一帧多，因此必须借助XSPI外部存储。第三目标是延迟与一致性：DMA写入的帧缓冲若被Cache缓存，NPU读取时可能拿到旧数据，需要正确维护Cache或使用非缓存区域。
整体学习路径建议按“先通路、后调优”的顺序：先理解DCMIPP→帧缓冲→NPU的数据流，再学习ISP各模块的配置与效果，接着掌握图像格式转换与量化预处理，然后深入内存布局、Cache维护和带宽测量，最后完成NPU模型部署与端到端性能调优。每一章都会围绕一个可观察的指标展开，例如帧率、推理延迟、精度或功耗，避免只停留在寄存器配置层面。