嵌入式神经网络基础：卷积神经网络基本概念、卷积运算原理、量化基础（q7/q15/int8格式定义与区别）

在深入CMSIS-NN的kernel性能对比之前，必须先建立扎实的嵌入式神经网络基础。CMSIS-NN是ARM针对Cortex-M系列处理器精心优化的神经网络推理库，其核心价值在于：在资源极度受限的MCU上，通过定点量化与指令级优化，让原本需要GPU或应用处理器才能运行的卷积神经网络（CNN）得以实时或近实时地执行。本章将系统梳理CNN的基本概念、卷积运算的数学本质，以及q7/q15/int8三种定点数格式的定义与区别，为后续章节中kernel性能的对比分析奠定坚实的理论基础。

2.1 卷积神经网络基本概念

卷积神经网络（Convolutional Neural Network, CNN）是一类专门处理网格结构数据（如图像、时序信号）的深度学习模型。与传统的全连接网络不同，CNN通过局部感受野、权值共享和空间下采样三大核心机制，大幅减少了网络参数数量，同时保留了输入数据的空间结构信息。在嵌入式场景中，CNN的这三大特性尤为重要——它们直接决定了模型能否在仅有几十KB到几百KB SRAM的MCU上运行。

2.1.1 核心原理：从全连接到卷积

全连接网络中，每个输出神经元都与所有输入神经元相连，假设输入图像为32×32×3（即3072个像素），第一层隐藏层有1024个神经元，则仅这一层就需要约314万个权重参数。而卷积层通过一个尺寸远小于输入的卷积核（如3×3×3），在输入特征图上滑动计算，同一卷积核在所有空间位置共享权重。以同样的输入为例，若使用32个3×3×3的卷积核，参数总量仅为32×27=864个，参数数量缩减了约3600倍。这种参数压缩能力，使得CNN成为嵌入式AI的首选模型结构。

CNN的基本组成单元包括：卷积层（Convolutional Layer）、激活函数（Activation Function）、池化层（Pooling Layer）和全连接层（Fully Connected Layer）。在嵌入式部署中，卷积层和全连接层是计算密集型和存储密集型操作，而池化层和激活函数则相对轻量。CMSIS-NN针对卷积层提供了高度优化的kernel实现，包括直接卷积、矩阵乘法（im2col）和Winograd变换等多种策略。

2.1.2 判断方法：识别嵌入式CNN的典型结构

在嵌入式项目中选择或设计CNN时，需要从以下维度进行判断：

• 参数量：模型权重总字节数是否小于目标MCU的Flash容量（通常预留50%余量给代码和运行时数据）。
• 激活内存峰值：推理过程中最大特征图尺寸是否小于SRAM容量。例如，输入为32×32×32的特征图，占用32KB内存，若MCU仅有64KB SRAM，则需谨慎设计网络深度。
• 计算量（MACs）：每秒乘累加操作数是否在MCU算力范围内。Cortex-M4F主频80MHz时，单周期MAC约40M MACs/s，一次完整推理若需10M MACs，则耗时约0.25秒。
• 数据精度：根据任务精度要求选择q7、q15或int8格式，精度越高，内存和计算开销越大。

2.1.3 案例拆解：关键词唤醒（KWS）模型

以典型的嵌入式关键词唤醒模型为例，其结构通常为：输入40维MFCC特征（10帧×40维）→ 2层卷积（每层8个3×3卷积核）→ 1层全连接（64神经元）→ Softmax输出（10个关键词类别）。该模型参数量约5KB，激活内存峰值约12KB，计算量约2.3M MACs。在Cortex-M4F上使用CMSIS-NN的q7格式推理，单次推理耗时约60ms，满足实时唤醒需求。若改用q15格式，内存占用翻倍至24KB，推理耗时增至约110ms，但仍可接受；若使用int8对称量化，则与q7内存占用相同，但需额外处理scale因子的浮点乘法。

2.1.4 常见误区与总结

2.2 卷积运算原理

卷积运算是CNN的核心计算单元。在数学上，二维卷积定义为：输出特征图在位置(i,j)的值等于输入特征图与卷积核的逐元素乘累加和。但在嵌入式实现中，我们更关注其计算模式和内存访问模式，因为这直接决定了kernel的优化策略。

2.2.1 核心原理：直接卷积与im2col

直接卷积（Direct Convolution）是最直观的实现方式：对于每个输出像素，将卷积核与输入特征图的对应区域做乘累加。其伪代码如下：

for (oc = 0; oc < output_channels; oc++) {
    for (oh = 0; oh < output_height; oh++) {
        for (ow = 0; ow < output_width; ow++) {
            int32_t sum = 0;
            for (ic = 0; ic < input_channels; ic++) {
                for (kh = 0; kh < kernel_height; kh++) {
                    for (kw = 0; kw < kernel_width; kw++) {
                        sum += input[ic][oh*stride+kh][ow*stride+kw] 
                               * weight[oc][ic][kh][kw];
                    }
                }
            }
            output[oc][oh][ow] = activation(sum + bias[oc]);
        }
    }
}

直接卷积的优点是无需额外内存，但存在严重的数据复用不足问题——每个输入像素会被多次读取。im2col（Image to Column）方法将输入特征图展开为一个大矩阵，将卷积运算转化为矩阵乘法（GEMM），从而可以利用CMSIS-NN中高度优化的矩阵乘kernel。但im2col需要额外的内存缓冲区，通常为输入特征图的kernel_size²倍。

2.2.2 判断方法：选择卷积实现策略

在CMSIS-NN中，arm_convolve_q7和arm_convolve_q15函数内部会根据卷积核尺寸自动选择直接卷积或im2col路径。对于3×3卷积，CMSIS-NN还提供了专门的arm_convolve_3x3_q7优化实现，利用Winograd算法将乘法次数减少约2.25倍。

2.2.3 案例拆解：3×3卷积的Winograd优化

以F(2×2, 3×3) Winograd为例，它将2×2输出所需的36次乘法（4输出×9权重）减少到16次乘法。具体实现中，输入块和卷积核先经过线性变换（B^T d B 和 G g G^T），然后进行逐元素乘法，最后通过输出变换（A^T Y A）得到结果。在Cortex-M4F上，CMSIS-NN利用SIMD指令（如SMLAD）并行处理多个乘累加操作，使得Winograd路径比直接卷积快1.5-2倍。但Winograd需要额外的变换矩阵存储（约几百字节），且对量化误差更敏感，因此q7格式下需谨慎使用。

2.2.4 常见误区与总结

2.3 量化基础：q7/q15/int8格式定义与区别

量化是将浮点数值映射到有限精度整数表示的过程。CMSIS-NN支持三种主要的定点数格式：q7、q15和int8。理解它们的定义和区别，是选择合适kernel、优化推理性能的前提。

2.3.1 核心原理：三种格式的数学定义

q7格式（Q7.0）是ARM CMSIS-DSP库中定义的8位有符号定点数，其数值范围是[-128, 127]，精度为1.0。在CMSIS-NN中，q7通常用于存储权重和激活值。由于精度较低，q7格式需要配合适当的缩放因子（scale）使用，通常将浮点权重乘以一个缩放因子后四舍五入到最近的整数。

q15格式（Q15.0）是16位有符号定点数，范围[-32768, 32767]，精度为1.0。q15格式在CMSIS-NN中常用于中间累加结果或需要更高精度的层（如全连接层）。由于16位表示范围更大，q15对量化误差的容忍度更高，但内存占用和计算开销也相应增加。

int8格式（对称量化）是TensorFlow Lite等框架中常用的8位量化格式。与q7不同，int8对称量化引入了浮点缩放因子（scale），实际数值 = int8值 × scale。由于scale是浮点数，在推理时需要额外的浮点乘法操作。CMSIS-NN从1.4版本开始支持int8格式，其kernel实现与q7类似，但增加了scale处理逻辑。

2.3.2 判断方法：格式选择决策树

1. 内存预算：若Flash和SRAM均紧张（<64KB），优先选择q7或int8；若内存充足（>256KB），可考虑q15。
2. 精度要求：对于分类任务（如关键词识别），q7通常足够；对于回归任务（如姿态估计），建议使用q15或int8+per-channel量化。
3. 计算平台：Cortex-M4F支持单周期MAC（q7×q7→q15累加），而Cortex-M7支持双发射，q15格式的SIMD效率更高。
4. 兼容性：若模型来自TensorFlow Lite，则int8是自然选择；若使用CMSIS-NN原生API，则q7/q15更直接。

2.3.3 案例拆解：q7与int8的精度对比实验

以CIFAR-10图像分类任务为例，使用一个3层卷积网络（32×32×3输入，3×3卷积，每层16/32/64通道）。在浮点模型上，测试准确率为82.3%。分别使用q7和int8量化后：

实验表明，q7与int8在准确率上差异不大（约0.3%），但int8 per-channel量化能显著减少精度损失。推理耗时方面，q7略快于int8，因为int8需要额外的scale浮点乘法。在实际项目中，若模型来自PyTorch训练，建议使用q7格式（CMSIS-NN原生支持）；若模型来自TensorFlow Lite，则int8更便于转换。

2.3.4 常见误区与总结