4、参数量与MACs定义：参数量（Params）的计算方法、MACs（乘加运算）与FLOPs的区别、如何统计全连接与卷积层
在TinyML模型部署与优化过程中，参数量（Params）与计算量（MACs/FLOPs）是衡量模型复杂度、推理延迟与能耗的核心指标。剪枝操作直接改变这两项数值，因此准确理解其定义与统计方法，是评估剪枝收益、选择剪枝策略的前提。本节将系统梳理参数量的计算方法、MACs与FLOPs的本质区别，并针对全连接层与卷积层给出具体的统计公式与实例。
4.1 参数量的计算方法
核心原理：参数量（Params）指模型中所有可训练变量的总数，包括权重矩阵和偏置项。它直接决定模型文件大小、内存占用和通信带宽需求。在TinyML场景中，Flash存储通常限制在数百KB以内，因此参数量是模型能否部署的第一道门槛。
全连接层参数量：设输入维度为 \(D_{in}\)，输出维度为 \(D_{out}\)，则权重矩阵形状为 \([D_{out}, D_{in}]\)，偏置向量长度为 \(D_{out}\)。计算公式为：
Params_fc = (D_in + 1) × D_out例如，一个输入128维、输出64维的全连接层，参数量为 (128+1)×64 = 8256。这里的“+1”代表偏置项。
卷积层参数量：设卷积核尺寸为 \(k \times k\)，输入通道数为 \(C_{in}\)，输出通道数为 \(C_{out}\)，则每个输出通道对应一个 \(k \times k \times C_{in}\) 的卷积核，加上1个偏置。公式为：
Params_conv = (k × k × C_in + 1) × C_out以MobileNetV1中的深度可分离卷积为例，其参数量为深度卷积（DW）与逐点卷积（PW）之和：DW层参数量为 \(k \times k \times C_{in}\)（无偏置时），PW层参数量为 \((1 \times 1 \times C_{in} + 1) \times C_{out}\)。这种分解方式将标准卷积的参数量从 \(k^2 C_{in} C_{out}\) 压缩至 \(k^2 C_{in} + C_{in} C_{out}\)，在3×3卷积下约为标准卷积的1/9。
| 层类型 | 参数量公式 | 示例（输入32通道，输出64通道） |
|---|---|---|
| 全连接层 | (D_in+1) × D_out | 输入256，输出128 → 32896 |
| 标准卷积 (3×3) | (3×3×C_in+1) × C_out | (9×32+1)×64 = 18496 |
| 深度可分离卷积 | k×k×C_in + (C_in+1)×C_out | 9×32 + 33×64 = 2400 |
| 1×1卷积 | (1×1×C_in+1) × C_out | (32+1)×64 = 2112 |
model.parameters() 或TensorFlow的 model.count_params() 进行自动统计，避免手工遗漏。
4.2 MACs与FLOPs的区别
核心原理：MACs（Multiply-Accumulate Operations）指乘加运算次数，一次MAC包含一次乘法和一次加法。FLOPs（Floating Point Operations）指浮点运算总次数，通常将一次MAC计为2次FLOPs（1次乘法+1次加法）。在深度学习社区中，两者经常被混用，但严格来说：
- MACs 更贴近硬件实际执行单元（乘加器）的工作量，常用于DSP、NPU等专用加速器的性能评估。
- FLOPs 更通用，但不同框架的统计口径可能不同（是否包含激活函数、是否包含偏置加法等）。
判断方法：当看到论文或工具报告“FLOPs”时，先确认其是否将MACs乘以2。例如，NVIDIA的 thop 库默认报告MACs，而 ptflops 库报告FLOPs（即MACs×2）。在TinyML场景中，建议统一使用MACs作为计算量指标，因为它直接对应乘加器的工作次数，与推理延迟的相关性更强。
4.3 全连接层与卷积层的MACs统计
全连接层MACs：对于输入维度 \(D_{in}\)、输出维度 \(D_{out}\) 的全连接层，每个输出神经元需要对所有输入执行乘加运算，因此：
MACs_fc = D_in × D_out偏置项只做加法，不涉及乘法，因此不计入MACs。若将MACs转换为FLOPs，则为 \(2 \times D_{in} \times D_{out}\)。
卷积层MACs：卷积层的计算量取决于输出特征图的尺寸。设输入特征图尺寸为 \(H_{in} \times W_{in}\)，输出尺寸为 \(H_{out} \times W_{out}\)，则每个输出像素需要执行 \(k \times k \times C_{in}\) 次乘加。总MACs为：
MACs_conv = k × k × C_in × C_out × H_out × W_out其中 \(H_{out}\) 和 \(W_{out}\) 由padding、stride和kernel size共同决定。例如，输入224×224×3，经过64个3×3卷积核（stride=1, padding=1），输出尺寸仍为224×224，则MACs = 3×3×3×64×224×224 ≈ 86.9M。
4.4 常见误区与统计实践
误区一：混淆Params与MACs。参数量衡量存储需求，MACs衡量计算需求。剪枝可能大幅减少参数量，但若剪枝后仍使用密集矩阵乘法，MACs可能不变。例如，将权重矩阵中50%的零值存储为稀疏格式，参数量减少50%，但若硬件不支持稀疏加速，实际MACs仍按原始维度计算。
误区二：忽略输入分辨率的影响。卷积层的MACs与输出特征图尺寸成正比。在TinyML中，常通过降低输入分辨率（如从224×224降至128×128）来减少计算量，但这不改变参数量。评估剪枝效果时，应同时报告固定输入尺寸下的MACs。
误区三：统计工具的口径不一致。建议在项目开始时固定使用一种统计工具，并在代码注释中记录其口径（是否包含偏置、是否乘以2等）。对于自定义层（如深度可分离卷积），最好手动实现MACs计算函数，避免依赖自动工具。
| 统计项 | 推荐工具 | 输出单位 | 注意事项 |
|---|---|---|---|
| 参数量 | PyTorch: sum(p.numel() for p in model.parameters()) | 个 | 包含BatchNorm参数 |
| MACs | thop.profile | MMACs | 默认不含偏置加法 |
| FLOPs | ptflops | GFLOPs | 通常为MACs×2 |
| 模型大小 | 模型序列化后文件大小 | KB/MB | 与量化精度相关 |
总结复盘：在TinyML剪枝项目中，建议建立标准化的评估流程：首先使用统一工具统计原始模型的Params与MACs，然后对剪枝后的模型进行相同统计，最后计算剪枝率（1 - 剪枝后/原始）和加速比（原始MACs/剪枝后MACs）。同时，应记录硬件平台是否支持稀疏计算——若目标MCU不支持稀疏加速，则非结构化剪枝的MACs收益无法体现，此时应优先考虑通道剪枝或核稀疏化等结构化方法。