1. STM32N6智能相机系统概述
智能相机并不是“普通摄像头加一个AI算法”这么简单。它是一台在本地完成图像采集、预处理、神经网络推理、决策输出与通信上报的嵌入式视觉计算设备。STM32N6 的出现，让这类设备第一次可以在单颗 MCU 上以较低功耗完成较高算力的边缘视觉任务。本章先建立系统级认知：课程要做什么、智能相机的典型架构长什么样、STM32N6 在边缘视觉中处于什么位置，以及从需求到量产的开发流程与工具链如何组织。
课程目标：从“会点灯”到“能交付一台智能相机”
本课程的目标不是逐个外设地讲 STM32N6 手册，而是围绕一台可运行的智能相机系统，把硬件接口、图像通路、NPU 推理、系统调度与工程化调试串成一条完整链路。学完后应能独立完成以下任务：
- 根据场景需求（分辨率、帧率、识别类别、功耗、成本）选型并规划 STM32N6 的存储、接口与供电方案；
- 配置 DCMIPP 图像管线，把 MIPI CSI-2 摄像头数据稳定地采集到帧缓冲；
- 使用 ST Edge AI Core 把训练好的模型转换为可在 NPU 上执行的网络，并完成量化与精度校验；
- 在裸机或 RTOS 环境下组织“采集—预处理—推理—后处理—输出”的流水线，控制延迟与内存占用；
- 用 SWD 调试、串口日志、性能计数与功耗测量定位常见问题，形成可复现的调试方法。
课程面向已经具备 STM32 基础（GPIO、中断、DMA、基本 C 语言工程）的开发者。若只做过 F1/F4 系列，也能跟上，但需要额外理解缓存一致性、外部存储映射与 NPU 工具链这三个新概念。
智能相机的典型架构
一台典型的智能相机在数据流上可以分成五段：成像前端（镜头、图像传感器、MIPI CSI-2 发送端）、采集与预处理（CSI 接收、去马赛克、缩放、色彩空间转换、裁剪）、推理引擎（NPU 或 CPU/DSP 执行神经网络）、决策与后处理（NMS、阈值判断、目标跟踪、状态机）、输出与通信（GPIO 触发、UART/CAN 报文、以太网图像或结果上报）。
与“摄像头 + 上位机”的方案相比，智能相机的关键差异在于：原始图像不必离开设备，只有结构化结果（类别、坐标、置信度、事件）被送出。这带来三个工程约束：第一，帧缓冲和模型权重必须放进有限的片上/片外存储；第二，推理延迟必须与帧率匹配，否则会丢帧；第三，功耗与散热决定了外壳和供电设计。理解这三条约束，是后续所有配置与调优的出发点。
STM32N6 在边缘视觉中的定位
STM32N6 的核心价值在于把“MCU 的实时性与低功耗”和“专用 NPU 的推理能力”放在同一颗芯片上。它内置 Arm Cortex-M55 内核，配合 Neural-ART NPU，可在几百毫瓦量级完成每秒数十帧的轻量视觉模型推理。与三类常见方案对比，定位更清晰：
| 方案 | 算力/功耗 | 实时性 | 适用场景 |
|---|---|---|---|
| MCU + CPU 推理 | 低算力，功耗低 | 好 | 简单分类、低帧率 |
| STM32N6（MCU + NPU） | 中等算力，功耗低 | 好 | 目标检测、人脸、工业质检 |
| 应用处理器 + GPU/NPU | 高算力，功耗高 | 一般（需 Linux 调度） | 多路视频、复杂模型 |
因此，STM32N6 适合“单路或少量摄像头、模型规模中等、要求确定性延迟与低功耗、需要长期稳定运行”的场合，例如电池供电的智能门铃、产线缺陷检测终端、机器人视觉前端。它不适合训练、也不适合跑大参数量 Transformer 类模型。选型时先确认模型能否量化到 INT8 且精度可接受，再确认帧率与分辨率是否落在 NPU 与存储带宽可承受的范围内。
系统级开发流程与工具链总览
工程上建议按“需求 → 硬件 → 数据 → 模型 → 集成 → 验证”的顺序推进，每一步都有明确的输入与判据：
- 需求定义：确定分辨率、帧率、识别类别数、精度指标（如 mAP）、延迟上限、功耗预算与接口形式。示例：1080p@30fps，检测 3 类目标，mAP≥0.75，单帧延迟≤33 ms，平均功耗≤1.5 W。
- 硬件设计：选择传感器与 CSI 通道数，规划 XSPI PSRAM 容量（模型权重 + 帧缓冲），确认供电与时钟树。权重与激活值放外部 PSRAM 时，要评估带宽是否够用。
- 数据采集与标注：用实际场景采集图像，覆盖不同光照与角度，标注后按 8:1:1 划分训练/验证/测试集。
- 模型训练与量化：在 PC 端训练，再用 ST Edge AI Core 转换为 NPU 可执行格式，做 INT8 量化并用测试集校验精度损失。
- 固件集成：配置 DCMIPP、DMA、NPU 驱动与 RTOS 任务，把采集、推理、后处理组织成流水线，处理缓存一致性与双缓冲。
- 验证与调优：测量端到端延迟、帧率、功耗与精度，定位丢帧、误检、内存溢出等问题。
工具链方面，STM32CubeMX 负责时钟、引脚与外设初始化；STM32CubeIDE 或 Keil/IAR 负责编译调试；STM32CubeProgrammer 用于烧录与外部 Flash 编程；ST Edge AI Core 负责模型转换、量化与性能评估；STM32Cube.AI 运行时库提供 NPU 调用接口。调试阶段常用 SWD + 串口日志，配合 DWT 周期计数测量函数耗时，用电流探头或板载功耗监测验证功耗预算。