📚 课程目录第4章卷积神经网络基础

4. 卷积神经网络基础

在K210手写数字识别任务中，我们面对的核心问题是如何让嵌入式设备“看懂”28×28像素的手写数字图像。传统机器学习方法需要人工设计特征（如HOG、像素统计），而卷积神经网络（CNN）能够自动从原始像素中逐层提取特征——从边缘、纹理到数字的局部形状，最终完成分类。本章将系统拆解CNN的五大核心组件：卷积层、池化层、全连接层、激活函数与Dropout，并结合K210的KPU硬件加速单元说明其工程约束。理解这些基础模块，是后续训练轻量级模型并部署到K210的前提。

上图展示了CNN处理手写数字的标准流程：输入图像经过卷积层提取局部特征，池化层降低空间维度，重复若干次后展平为一维向量，送入全连接层完成分类。激活函数贯穿其中引入非线性，Dropout则在训练阶段随机丢弃部分神经元以增强泛化能力。下面逐一深入讲解每个模块的原理与工程实践。

4.1 卷积层：局部特征提取的核心

卷积层的设计灵感来源于生物视觉皮层的感受野机制。每个神经元只响应输入图像的局部区域，通过滑动窗口（卷积核）在图像上扫描，计算局部区域的加权和，从而提取边缘、角点、纹理等低级特征。多个卷积核并行工作，生成多通道特征图，每个通道对应一种特征模式。

关键参数：

卷积核大小（Kernel Size）：常见3×3或5×5，决定感受野范围。K210 KPU支持1×1至8×8的卷积核。
步长（Stride）：卷积核每次滑动的像素数。步长2可使特征图尺寸减半，但通常用池化层控制尺寸。
填充（Padding）：在输入边缘补零，保持特征图尺寸不变（Same Padding）或允许尺寸缩小（Valid Padding）。
输出通道数（Filters）：卷积核数量，决定特征图的深度。K210 KPU单层最大支持1024个输出通道。

对于28×28的输入图像，若使用3×3卷积核、步长1、Same Padding，输出特征图尺寸仍为28×28，但深度变为卷积核数量。例如32个卷积核将生成32张28×28的特征图，参数量为3×3×1×32=288个权重，远小于全连接层的参数量。

  K210工程约束：KPU的卷积计算采用定点数（INT8/INT16），训练时需使用量化感知训练（QAT）或训练后量化（PTQ）。卷积核权重范围通常被限制在[-128, 127]，因此训练时应使用ReLU等有界激活函数，避免输出值过大导致精度损失。

4.2 池化层：降维与特征压缩

池化层（Pooling Layer）对特征图进行下采样，保留主要特征的同时减少计算量和参数量，并增强平移不变性。最常用的是最大池化（Max Pooling），取窗口内最大值；平均池化（Average Pooling）取均值，常用于全局特征聚合。

池化层的作用：

降低空间尺寸：2×2池化、步长2可将特征图尺寸减半，例如28×28→14×14。
扩大感受野：后续卷积层能“看到”更大范围的原始图像区域。
抑制噪声：最大池化对局部微小位移不敏感，增强鲁棒性。
控制过拟合：减少参数量，降低模型复杂度。

在K210部署中，池化层通常由KPU硬件直接支持，不占用额外CPU资源。但需注意：KPU的池化操作与卷积层绑定，需在模型转换时正确配置池化类型和窗口大小。

池化类型	计算方式	适用场景	K210支持
最大池化	取窗口内最大值	边缘检测、特征突出	支持，2×2/3×3
平均池化	取窗口内平均值	全局特征聚合、平滑	支持，需配置
全局平均池化	整个特征图取均值	替代全连接层，减少参数	需软件实现

4.3 全连接层与激活函数

全连接层（Fully Connected Layer）将卷积/池化提取的二维特征图展平为一维向量，然后通过矩阵乘法映射到类别空间。对于手写数字识别，最后一层通常有10个神经元，对应0-9十个类别。全连接层的参数量巨大，例如输入特征图7×7×32=1568个值，连接到128个神经元，参数量为1568×128≈20万，因此需谨慎设计层数和神经元数量。

激活函数的作用：没有激活函数，多层线性变换等价于单层线性变换，无法学习复杂模式。常用激活函数包括：

ReLU（Rectified Linear Unit）：f(x)=max(0,x)，计算简单，缓解梯度消失，是CNN默认选择。K210的KPU支持ReLU硬件加速。
Softmax：用于多分类输出层，将logits转换为概率分布，所有类别概率之和为1。
Sigmoid/Tanh：早期常用，但存在梯度饱和问题，在CNN中已较少使用。

# 在K210模型训练中，激活函数通常内嵌在层定义中
from tensorflow.keras import layers

model.add(layers.Conv2D(32, (3,3), activation='relu', input_shape=(28,28,1)))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Flatten())
model.add(layers.Dense(128, activation='relu'))
model.add(layers.Dropout(0.5))
model.add(layers.Dense(10, activation='softmax'))

经验提醒：在K210部署时，Softmax通常不在KPU内计算，而是在CPU上通过软件实现。因此训练时可将Softmax层从模型中剥离，仅输出logits，部署时再在应用代码中计算概率。

4.4 Dropout：防止过拟合的正则化技术

Dropout在训练过程中随机“丢弃”一部分神经元（将其输出置零），迫使网络学习冗余表示，避免神经元之间复杂的共适应关系。测试阶段不丢弃，但所有神经元的输出需乘以保留概率（如0.5）以保持期望一致。

Dropout的关键参数：

保留概率（keep_prob）：通常设为0.5~0.8。手写数字识别任务较简单，0.5即可。
应用位置：一般放在全连接层之后，卷积层后较少使用（因为卷积层参数量小，过拟合风险低）。
训练/测试差异：训练时开启Dropout，测试时关闭。Keras中Dropout层自动处理此差异。

在K210部署时，Dropout层不会出现在推理模型中，因为训练完成后权重已固定，Dropout仅影响训练过程。模型转换工具（如NNCASE）会自动移除Dropout层。

风险提示：Dropout率过高（如0.9）会导致模型欠拟合，训练不充分；过低（如0.1）则正则化效果不明显。建议从0.5开始，根据验证集准确率调整。另外，若使用批量归一化（BatchNorm），Dropout可适当降低，两者功能部分重叠。

4.5 案例拆解：LeNet-5简化版在手写数字识别中的应用

我们以经典的LeNet-5架构为基础，设计一个适配K210的轻量级CNN模型。该模型在MNIST数据集上可达到99%以上的准确率，且参数量小于100KB，适合KPU部署。

模型结构：

层类型	输出尺寸	参数量	说明
输入	28×28×1	0	灰度图像
Conv2D+ReLU	28×28×16	160	3×3核，16通道
MaxPooling	14×14×16	0	2×2，步长2
Conv2D+ReLU	14×14×32	4,640	3×3核，32通道
MaxPooling	7×7×32	0	2×2，步长2
Flatten	1568	0	展平
Dense+ReLU	64	100,416	全连接层
Dropout	64	0	保留概率0.5
Dense+Softmax	10	650	输出层

训练与部署要点：

数据预处理：MNIST图像归一化到[0,1]，K210部署时需转换为INT8定点数。
量化感知训练：在训练阶段模拟INT8量化，减少部署时的精度损失。
模型转换：使用NNCASE工具将Keras模型转换为K210 KPU可执行的kmodel格式。
性能验证：在K210开发板上运行推理，测量单次推理时间和准确率。

实际测试中，该模型在K210上单次推理约需15ms（CPU频率400MHz），准确率约98.7%，满足实时识别需求。若需进一步提升准确率，可增加卷积层通道数或添加BatchNorm层，但需权衡推理速度和内存占用。

  复盘经验：在嵌入式部署中，模型参数量与推理速度是核心矛盾。LeNet-5简化版通过减少全连接层神经元数量（从120/84降至64），在几乎不影响准确率的前提下，将参数量从6万降至约10万，显著降低了KPU的存储和计算压力。这提示我们：轻量化设计应优先压缩全连接层，而非卷积层。

4.6 常见误区与总结

误区一：卷积核越大越好。大卷积核（如7×7）虽然感受野大，但参数量呈平方增长。多个小卷积核（如两个3×3）堆叠可获得相同感受野，且参数量更少、非线性更强。

误区二：池化层必须紧跟每个卷积层。对于小尺寸输入（如28×28），过度池化会丢失细节信息。通常卷积2~3次后再池化一次，或根据特征图尺寸灵活调整。

误区三：Dropout可以解决所有过拟合问题。Dropout只是正则化手段之一，还需配合数据增强、早停（Early Stopping）和权重衰减（L2正则化）综合使用。

误区四：忽略KPU的硬件限制。K210的KPU对卷积核大小、通道数、输入尺寸有严格限制（如输入宽度需为4的倍数），设计模型时必须提前查阅硬件规格，否则转换时会报错。