基础知识：全连接层的数学定义、权重矩阵与输入向量的维度关系、与卷积层的联系

在深入CMSIS-NN的全连接优化之前，我们必须先建立坚实的数学与结构基础。全连接层（Fully Connected Layer, FC）是神经网络中最经典的层类型之一，其计算本质是矩阵乘法与向量加法的组合。理解其数学定义、维度约束以及与卷积层的内在联系，是后续分析内存访问模式、寄存器分块策略和SIMD指令优化的前提。本节将从线性代数视角出发，逐步拆解全连接层的计算图，并揭示它与卷积层在计算模式上的统一性。

输入向量 x 维度: [C_in] C_in = 4 x₀ x₁ x₂ x₃ 权重矩阵 W 维度: [C_out, C_in] C_out = 3, C_in = 4 w₀₀ w₀₁ w₀₂ w₀₃ w₁₀ w₁₁ w₁₂ w₁₃ w₂₀ w₂₁ w₂₂ w₂₃ 偏置 b: [C_out] 输出向量 y 维度: [C_out] y₀ y₁ y₂ y = W·x + b yⱼ = Σ(wⱼᵢ · xᵢ) + bⱼ i ∈ [0, C_in), j ∈ [0, C_out) 当卷积核尺寸 = 1×1 且输入特征图展平时，卷积退化为全连接

2.1 全连接层的数学定义与计算范式

全连接层的核心操作可以形式化地描述为：给定输入向量 x ∈ ℝC_in，权重矩阵 W ∈ ℝC_out × C_in，偏置向量 b ∈ ℝC_out，输出向量 y ∈ ℝC_out，则前向传播计算为：

y = W · x + b

展开形式：
y[0] = w[0][0]·x[0] + w[0][1]·x[1] + ... + w[0][C_in-1]·x[C_in-1] + b[0]
y[1] = w[1][0]·x[0] + w[1][1]·x[1] + ... + w[1][C_in-1]·x[C_in-1] + b[1]
...
y[C_out-1] = w[C_out-1][0]·x[0] + ... + w[C_out-1][C_in-1]·x[C_in-1] + b[C_out-1]

从计算模式来看，每个输出神经元 y[j] 都是输入向量 x 与权重矩阵第 j 行的点积结果。这意味着全连接层本质上执行了 C_out 次独立的点积运算，每次点积涉及 C_in 次乘加操作（MAC）。在嵌入式平台如 Cortex-M 系列上，这些乘加操作会被映射为 SIMD 指令（如 SMLAD、SMLALD）以提升吞吐率。

关键认知：全连接层的计算密度极高——对于 C_in = 256、C_out = 128 的典型配置，单次前向传播需要 32,768 次乘加操作。在 CMSIS-NN 中，这些操作通过矩阵分块（tiling）和循环展开（loop unrolling）来最大化寄存器利用率，减少内存访问次数。

2.2 权重矩阵与输入向量的维度关系

维度关系决定了内存布局和访问模式。设输入特征图经过展平（flatten）后得到长度为 C_in 的向量，权重矩阵的行数等于输出通道数 C_out，列数等于输入通道数 C_in。这种布局在内存中通常以行主序（row-major）存储：

参数 符号 典型值（MCU场景） 内存占用（int8） 对齐要求
输入通道数 C_in 64 ~ 512 C_in 字节 4字节对齐
输出通道数 C_out 16 ~ 256 C_out 字节（偏置） 4字节对齐
权重矩阵 W C_out × C_in C_out × C_in 字节 16字节对齐（SIMD）
输出向量 y C_out C_out 字节 4字节对齐

维度关系还直接影响 CMSIS-NN 的 arm_fully_connected_s8 函数实现。该函数要求输入向量按 C_in 对齐到 4 的倍数，权重矩阵按 C_in × C_out 对齐到 16 字节，以便使用 vld1q_s8 等 NEON 指令批量加载数据。若 C_in 不是 4 的倍数，CMSIS-NN 会通过填充（padding）零值来满足对齐要求，这虽然增加了少量内存开销，但显著提升了 SIMD 效率。

2.3 与卷积层的联系：从局部到全局的视角

全连接层与卷积层并非孤立存在，它们在数学上具有深刻的统一性。考虑一个标准的 2D 卷积操作：输入特征图尺寸为 H×W×C_in，卷积核尺寸为 K×K，输出通道数为 C_out。当 K = 1（即 1×1 卷积）且输入特征图被展平为向量时，卷积操作退化为全连接层。更一般地，当卷积核尺寸等于输入特征图的空间尺寸（K = H = W）时，每个输出通道对应一个全局卷积核，此时卷积层与全连接层在计算上完全等价。

这种联系在 CMSIS-NN 的优化中具有重要意义：

  • 内存访问模式相似：两者都需要高效地遍历权重数据，区别仅在于卷积层需要额外的空间滑动窗口操作。
  • 计算复用策略：卷积层通过 im2col 变换将卷积转换为矩阵乘法，而全连接层本身就是矩阵乘法，因此 CMSIS-NN 对两者的底层内核（kernel）可以共享部分优化代码。
  • 量化策略一致：无论是卷积还是全连接，CMSIS-NN 都采用 per-channel 量化（每个输出通道独立缩放因子），这要求权重矩阵按行组织存储，便于逐行读取缩放因子。
工程启示：在部署模型到 MCU 时，如果网络末端包含全连接层，建议将前面的卷积层输出通道数设计为 4 的倍数（如 64、128、256），这样展平后的向量长度自然满足 CMSIS-NN 的对齐要求，避免额外的填充开销。

2.4 案例拆解：一个语音唤醒词模型的 FC 层分析

假设我们正在为一个关键词识别（KWS）模型设计 MCU 部署方案。模型结构为：2 个卷积层 + 1 个全连接层 + Softmax。全连接层配置如下：

  • 输入：最后一个卷积层输出 8×8×32 的特征图，展平后 C_in = 8×8×32 = 2048
  • 输出：C_out = 10（对应 10 个唤醒词类别）
  • 权重矩阵：10 × 2048 = 20,480 个 int8 参数，占用 20 KB Flash
  • 偏置：10 个 int32 参数，占用 40 字节

初始现象：直接调用 CMSIS-NN 的 arm_fully_connected_s8 函数，发现推理时间中全连接层占比高达 35%，远超预期。

分析过程：通过 profiling 工具发现，主要瓶颈在于权重矩阵的加载效率。由于 C_in = 2048 是 4 的倍数，但权重矩阵按行存储时，每行 2048 字节，无法一次性装入 Cortex-M7 的 L1 缓存（通常 32 KB），导致频繁的缓存未命中。

优化操作：

  1. 将权重矩阵按 16×16 分块存储，每个块 256 字节，恰好适合 L1 缓存行大小。
  2. 使用 CMSIS-NN 的 arm_nn_mat_mult_kernel_s8 底层函数，该函数针对分块矩阵乘法做了循环展开优化。
  3. 将输入向量预先加载到连续内存缓冲区，并确保 16 字节对齐，以便使用 vld1q_s8 批量加载。

结果对比：优化后全连接层推理时间降低 42%，整体模型推理时间减少 15%。代价是权重矩阵需要额外的重排（transpose）操作，增加了约 5% 的 Flash 存储开销（用于存储分块索引表）。

复盘经验：全连接层的优化不能仅关注计算指令本身，内存访问模式往往才是真正的瓶颈。在 MCU 上，合理的数据布局（如分块、对齐）比单纯增加 SIMD 指令使用更能带来性能提升。

2.5 常见误区与总结

误区一：忽略对齐要求：直接使用未对齐的缓冲区调用 CMSIS-NN 函数，会导致硬件异常或性能骤降。务必检查输入向量、权重矩阵和输出向量的内存对齐属性。

误区二：混淆 C_in 与 C_out 的存储顺序：CMSIS-NN 要求权重矩阵按 行主序存储（即 [C_out][C_in]），如果按列主序存储，计算结果将完全错误。

误区三：忽视量化参数：全连接层的输出需要乘以输出缩放因子并加上输出偏移，这些参数必须与权重矩阵的 per-channel 量化保持一致，否则精度会严重下降。

总结：全连接层在数学上是矩阵乘法与向量加法的组合，其维度关系决定了内存布局和访问模式。与卷积层的联系表明，两者在底层计算上可以共享优化策略。在 CMSIS-NN 中，全连接层的优化核心在于：合理的数据对齐、分块存储以适配缓存、以及充分利用 SIMD 指令。理解这些基础知识，是后续掌握具体优化技巧（如权重重排、循环展开、双缓冲）的前提。

← 上一章 📖 返回目录 下一章 →