全连接层基础：数学定义、维度与张量形状

在深入 TFLite Micro 的全连接算子优化之前，必须先精确理解全连接层（FullyConnected Layer）的数学本质与数据布局。全连接层是神经网络中最基础也最密集的计算单元，其核心操作是矩阵乘法与偏置加法。在嵌入式端，内存带宽与计算资源极其有限，因此对权重矩阵的存储方式、输入输出张量的内存排布以及维度对齐的深刻理解，直接决定了后续算子融合、量化感知训练和内核微调的成败。本节将系统回顾全连接层的数学定义、权重与偏置的维度约束，以及输入输出张量在内存中的形状演变，为后续的算子优化建立坚实的理论基础。

上图展示了全连接层的核心数据流：输入张量 [N, I] 与权重矩阵 [I, O] 做矩阵乘法，再加上偏置向量 [O]，最终产生输出张量 [N, O]。在 TFLite Micro 中，所有张量均以行主序（Row-Major）方式连续存储，这意味着内存访问的局部性完全取决于维度顺序的设计。理解这一布局是优化缓存命中率、减少内存拷贝和实现高效内核的前提。

2.1 数学定义与计算语义

全连接层的数学本质是一个线性变换加非线性激活（激活函数通常在算子外部处理）。其核心计算可分解为三个步骤：矩阵乘法、偏置广播和可选量化缩放。在浮点模型中，计算过程直接遵循线性代数规则；而在 TFLite Micro 的量化模型中，计算过程会转换为整数运算，但数学语义保持一致。

设输入张量为 X ∈ R^(N×I)，权重矩阵为 W ∈ R^(I×O)，偏置向量为 b ∈ R^O，则输出张量 Y ∈ R^(N×O) 的每个元素计算如下：

for n in range(N):          # 遍历批量中的每个样本
    for o in range(O):      # 遍历每个输出通道
        acc = b[o]          # 初始化为偏置值
        for i in range(I):  # 累加输入特征与权重的乘积
            acc += X[n][i] * W[i][o]
        Y[n][o] = acc

从计算复杂度的角度看，全连接层的浮点运算次数（FLOPs）为 2 × N × I × O（乘加各一次）。在嵌入式设备上，这个数值直接决定了推理延迟的上限。例如，一个 I=512, O=256, N=1 的全连接层需要执行 2 × 1 × 512 × 256 = 262,144 次浮点运算。对于主频 100MHz 的 MCU，如果每次乘加需要 4 个时钟周期，则仅此一层就需要约 10ms 的纯计算时间，这还不包括内存访问开销。

2.2 权重矩阵与偏置向量的维度约束

权重矩阵 W 的维度是 [I, O]，其中 I 必须与输入张量的最后一维完全一致，O 则决定了输出张量的特征维度。偏置向量 b 的长度必须等于 O，且每个偏置值对应一个输出通道。在 TFLite Micro 的模型转换过程中，这些维度约束会被严格校验，任何不匹配都会导致模型加载失败。

张量名称	维度形状	内存大小（float32）	内存大小（int8 量化）	对齐要求
输入 X	[N, I]	N × I × 4 字节	N × I × 1 字节	通常 4 字节对齐
权重 W	[I, O]	I × O × 4 字节	I × O × 1 字节	通常 4 字节对齐
偏置 b	[O]	O × 4 字节	O × 4 字节（int32）	4 字节对齐
输出 Y	[N, O]	N × O × 4 字节	N × O × 1 字节	通常 4 字节对齐

在量化模型中，权重和激活通常使用 int8 类型存储，而偏置使用 int32 类型以保持累加精度。这种混合精度设计是 TFLite Micro 的默认策略：int8 权重与 int8 激活相乘后累加到 int32 累加器中，最后再通过缩放因子（scale）和零点（zero point）反量化为 int8 输出。这种设计在保证精度的同时，将内存占用压缩了 4 倍，对嵌入式设备至关重要。

2.3 输入输出张量的形状演变与内存布局

在 TFLite Micro 中，张量形状不仅影响计算逻辑，更直接决定了内存访问模式。输入张量 X 的形状为 [N, I]，其中 N 是批量大小（通常为 1），I 是输入特征数量。输出张量 Y 的形状为 [N, O]。在内存中，这些张量以行主序连续存储，即最后一个维度的元素在内存中相邻。

这种布局对缓存性能有深远影响。以权重矩阵 W 为例，其形状为 [I, O]，按行主序存储时，W[i][o] 和 W[i][o+1] 在内存中相邻。当计算输出 Y[n][o] 时，需要访问 X[n][0..I-1] 和 W[0..I-1][o]。如果按列访问权重（即固定 o，遍历 i），则内存访问步长为 O × sizeof(type)，这会导致严重的缓存未命中。因此，高效的实现通常会将权重矩阵进行转置或重排，使得内层循环可以顺序访问内存。

2.4 案例拆解：一个语音唤醒词模型的维度分析

假设我们正在为一个关键词识别（KWS）模型优化全连接层。该模型接收 40 维 MFCC 特征，经过两层卷积后展平为 128 维向量，然后送入两个全连接层：第一层 128 → 64，第二层 64 → 10（对应 10 个唤醒词类别）。

初始现象：在 STM32F746 开发板上（Cortex-M7 @ 216MHz），单次推理耗时 45ms，其中两个全连接层共耗时 22ms，占比近 50%。通过分析发现，内存访问效率低下是主要瓶颈。

关键参数：

• 第一层：I=128, O=64, N=1，FLOPs = 2 × 128 × 64 = 16,384
• 第二层：I=64, O=10, N=1，FLOPs = 2 × 64 × 10 = 1,280
• 权重总大小：128×64 + 64×10 = 8,832 个 float32 值，约 34.5 KB

分析判断：第一层全连接的计算量是第二层的 12.8 倍，但内存访问模式完全不同。第一层需要读取 128 个输入值和 8,192 个权重值；第二层只需读取 64 个输入值和 640 个权重值。由于 Cortex-M7 的 L1 缓存只有 16KB，第一层的权重矩阵（32KB）无法完全装入缓存，导致频繁的缓存未命中。

实际操作步骤：

1. 将权重矩阵从 [I, O] 转换为 [O, I] 的转置布局，使内层循环顺序访问。
2. 对输入向量进行 4 字节对齐，确保可以使用 LDRD（双字加载）指令一次读取 8 字节。
3. 将第一层权重矩阵分块为 4×4 的子矩阵，利用 CMSIS-DSP 库的矩阵乘法函数进行加速。

结果对比：优化后，两个全连接层的总耗时从 22ms 降至 9ms，提升 2.4 倍。其中内存访问优化贡献了约 60% 的收益，计算指令优化贡献了 40%。

风险与代价：权重转置增加了模型转换时的预处理时间（约 0.5ms），但推理阶段收益显著。分块策略增加了代码复杂度，但换来了更优的缓存利用率。

复盘经验：全连接层的优化应首先关注内存布局，其次才是计算指令。在嵌入式平台上，内存访问延迟往往是计算延迟的 5-10 倍，因此任何能提升缓存命中率的改动都会带来显著收益。

2.5 常见误区与总结复盘

在全连接层的理解与优化中，开发者常陷入以下误区：