1. STM32N6机器视觉终端开发导入

机器视觉终端并不是“摄像头加一块开发板”的简单组合，而是一台在受限功耗、受限体积和受限成本条件下，持续完成图像采集、预处理、推理与结果输出的嵌入式设备。它要回答的问题很具体：画面从哪里来，数据在何处被压缩或缩放，神经网络在哪颗计算单元上执行，推理结果如何变成控制信号或通信报文，以及整机在什么功耗和时延下稳定工作。STM32N6正是面向这类任务设计的MCU级平台，它把高性能Cortex-M55内核、NeoChrom GPU、ISP图像信号处理器和自研NPU集成在同一颗芯片内，使“MCU做控制、NPU做推理”成为一条可落地的工程路径。

课程目标与能力定位

本课程的目标不是泛泛介绍AI概念，而是让学习者能够独立完成一台STM32N6机器视觉终端从选型、搭建、部署到验证的完整闭环。具体包括四类能力：第一，能读懂终端形态与算力需求，判断某类视觉任务是否适合放在STM32N6上运行；第二，能配置摄像头、ISP、DMA与显示/通信外设，把图像数据正确送入内存；第三，能把量化后的神经网络模型部署到NPU，并理解CPU、NPU、GPU之间的任务划分；第四，能用帧率、单帧时延、功耗和识别准确率等指标判断系统是否达标，并在不达标时定位瓶颈。

需要先建立一个基本判断：STM32N6不是替代服务器GPU的方案，它的价值在于把“看得见、认得清、反应快”的能力放到设备端。典型工作点大致是：输入分辨率320×320或640×480，模型为轻量级检测或分类网络，量化到INT8，单帧推理时延控制在几十毫秒量级，整机功耗维持在数百毫瓦到瓦级。这些是工程上常见的量级示例，实际数值取决于模型结构、时钟配置和内存访问方式。

STM32N6在机器视觉终端中的定位

从系统层级看，机器视觉终端通常分为三类计算位置：云端、边缘网关和端侧设备。云端算力充足但依赖网络，边缘网关可汇聚多路视频但体积和功耗偏大，端侧设备则要求单机独立完成感知与决策。STM32N6处于端侧设备的核心位置，它既保留了MCU的实时性、低功耗和外设丰富度，又通过NPU补足了传统MCU难以承担的神经网络推理能力。

与“MCU+外挂AI加速器”的方案相比，STM32N6的NPU与Cortex-M55、总线、内存系统在同一芯片内协同，数据搬运路径更短，中断与同步更可控；与“应用处理器+Linux”的方案相比，它没有操作系统调度带来的不确定性，启动更快、功耗更低，适合对实时响应和长期稳定运行有要求的场合。因此，它更适合工业质检、智能门禁、人形/车辆检测、仪表读数、包装缺陷识别等中小规模视觉任务。

NPU与MCU协同架构

理解STM32N6的关键，是理解“谁做什么”。NPU擅长规则、密集、可量化的矩阵运算，例如卷积、深度可分离卷积、全连接和常见激活函数；Cortex-M55擅长控制流、条件判断、协议解析和不确定分支。二者不是主从替代关系，而是流水线分工：M55负责把图像准备好、把模型调度起来、把结果解释成业务动作；NPU负责在确定时间内完成网络前向计算。

一个典型的单帧处理过程可以这样展开。摄像头输出一帧RGB565图像，经ISP完成自动曝光和白平衡后，由DMA写入图像缓冲区。M55在帧同步中断中启动预处理：若模型输入为320×320，而原始帧为640×480，则调用NeoChrom GPU或NPU前置缩放单元把图像缩放到目标尺寸，并做归一化与量化，把像素值从0～255映射到INT8范围。随后M55向NPU写入输入张量地址、输出张量地址和推理启动寄存器，NPU开始执行。推理完成后产生中断，M55读取输出张量，执行非极大值抑制或阈值筛选，得到目标类别、置信度和边界框，再通过GPIO、UART或以太网输出。整个过程的关键指标是单帧时延和帧率，例如在160 MHz NPU时钟下，一个约0.5 GOPS的轻量模型单帧推理可能在20～40 ms量级，具体取决于算子实现和内存带宽。

协同架构中容易出问题的地方通常不在NPU本身，而在数据搬运和内存带宽。若图像缓冲区与NPU权重区争用同一块SRAM，或DMA与CPU同时访问外部PSRAM，实际帧率会明显低于理论值。因此工程上要尽早确定内存布局：把权重、输入特征图、输出特征图分区放置，必要时使用多缓冲区乒乓结构，让采集、推理和输出重叠进行。

典型终端形态与开发流程总览

STM32N6机器视觉终端常见形态包括：一体式智能相机（摄像头、主控、补光、通信集成在小壳体内）、工业检测模块（多路触发、结果通过IO或总线输出）、门禁/通行设备（人脸或人形检测，联动闸机）、以及带显示的便携识别终端。不同形态对镜头接口、补光方式、防护等级和通信接口要求不同，但核心数据通路一致。

开发流程可以按“先通图像、再通推理、最后通业务”的顺序推进。第一步搭建最小系统：供电、时钟、调试串口和摄像头，确认能稳定抓到一帧并读出像素值。第二步打通显示或存储通路，确认图像格式和颜色正确。第三步把已量化模型通过STM32Cube.AI或ST Edge AI工具链转换并部署到NPU，先用固定测试图验证推理结果与PC端一致。第四步接入真实场景，调整曝光、镜头焦距和阈值，统计准确率与误报率。第五步做性能与功耗优化，包括降低分辨率、裁剪模型、调整DMA优先级和时钟门控。每一步都要有可观察的判据，例如“连续采集1000帧无丢帧”“同一测试图推理结果与PC端一致”“整机连续运行1小时无复位”，而不是只看程序是否编译通过。

最后需要明确本课程的学习方式：每一章都会围绕一个可执行目标展开，涉及配置、代码、参数和验证方法。遇到具体数值时，应把它们当作示例起点，在自己的板卡、镜头和场景中重新测量。STM32N6提供了足够的算力和外设资源，但机器视觉终端的成败往往取决于数据质量、内存安排和阈值策略这些工程细节，而不是单一算力指标。