深度学习基础回顾：神经网络核心概念、训练流程、常见模型架构及适用场景

2.1 神经网络的核心概念

在进入企业级端到端管线之前，必须先厘清神经网络的基本构件。一个标准的全连接网络由输入层、隐藏层、输出层组成，每一层包含若干神经元，相邻层之间通过带权重的边连接。每个神经元的计算可拆解为两步：线性加权求和 z = W·x + b，再经过非线性激活函数 a = σ(z)。激活函数是网络具备表达能力的根本原因——若没有非线性，多层网络将退化为单层线性变换。

训练的本质是最小化损失函数。以分类任务为例，常用交叉熵损失；回归任务则常用均方误差（MSE）。优化器（如 SGD、Adam）通过反向传播算法计算梯度，并沿负梯度方向更新权重。关键超参数包括学习率、批大小（batch size）、迭代轮数（epoch）等，它们直接决定收敛速度与最终精度。

关键术语对照：参数（权重 W 与偏置 b）是模型从数据中学习的对象；超参数（学习率、层数、神经元数）是训练前人为设定的配置。两者不可混淆。
输入层 x₁ x₂ x₃ x₄ 隐藏层 1 a₁¹ a₂¹ a₃¹ a₄¹ 隐藏层 2 a₁² a₂² a₃² 输出层 ŷ₁ ŷ₂ 损失 L 反向传播 权重更新（梯度下降） 激活函数：ReLU / Sigmoid / Tanh

2.2 标准训练流程

企业级训练流程通常遵循以下五个阶段，每个阶段都有明确的输入、输出与质量检查点：

  1. 数据准备：采集原始数据，完成清洗、去重、标注、划分训练/验证/测试集。此阶段常占整个项目 60% 以上的时间。
  2. 模型设计：根据任务类型（分类、回归、序列预测等）选择网络结构，确定层数、神经元数、激活函数。
  3. 训练迭代：前向传播计算预测值，反向传播计算梯度，优化器更新参数。每个 epoch 结束后在验证集上评估指标。
  4. 超参数调优：调整学习率、批大小、正则化系数等，观察训练/验证损失曲线，防止欠拟合或过拟合。
  5. 评估与部署：在测试集上做最终评估，导出模型文件，接入推理服务。
# 典型训练循环伪代码（PyTorch 风格）
for epoch in range(num_epochs):
    model.train()
    for batch_x, batch_y in train_loader:
        optimizer.zero_grad()
        pred = model(batch_x)
        loss = criterion(pred, batch_y)
        loss.backward()
        optimizer.step()
    
    # 每个 epoch 后验证
    model.eval()
    val_loss = evaluate(model, val_loader)
    print(f"Epoch {epoch}: train_loss={loss.item():.4f}, val_loss={val_loss:.4f}")
常见陷阱：训练损失下降但验证损失上升，说明模型开始过拟合。此时应优先考虑增加正则化（Dropout、L2）、数据增强或降低模型容量，而不是盲目增加训练轮数。

2.3 三大主流模型架构

架构 核心机制 典型应用 企业场景示例
CNN 卷积核局部感知 + 权值共享 + 池化降采样 图像分类、目标检测、图像分割 工业质检、医学影像分析、人脸识别
RNN/LSTM 循环连接 + 门控机制（遗忘门、输入门、输出门） 时间序列、文本序列、语音信号 舆情情感分析、设备故障预测、语音转写
Transformer 自注意力（Self-Attention）+ 位置编码 + 多头机制 自然语言处理、多模态、代码生成 智能客服、文档摘要、代码补全

2.3.1 CNN：空间特征的提取器

卷积神经网络通过滑动窗口的卷积核在图像上提取局部特征。浅层卷积核学习边缘、纹理等低级特征，深层卷积核组合出部件、形状等高级语义。池化层（Max Pooling / Average Pooling）降低特征图分辨率，增强平移不变性。经典结构包括 LeNet、ResNet、EfficientNet 等。在端到端管线中，CNN 常作为特征提取器，其输出可接入分类头或检测头。

2.3.2 RNN/LSTM：序列建模的经典方案

循环神经网络按时间步展开，将上一时刻的隐藏状态传入当前时刻，从而捕捉序列中的时间依赖。但标准 RNN 存在梯度消失问题，难以学习长距离依赖。LSTM 通过三个门控单元控制信息流动，使梯度能跨越数十个时间步。GRU 是 LSTM 的简化变体，参数更少、训练更快。在管线设计中，RNN 类模型适合处理变长序列输入，但并行性较差，训练速度受限。

2.3.3 Transformer：并行化与全局注意力

Transformer 完全抛弃循环结构，使用自注意力机制直接计算序列中任意两个位置的相关性。每个 token 通过 Query、Key、Value 三个向量进行注意力加权，多头机制让模型从不同子空间捕捉关系。位置编码（如正弦位置编码或可学习位置嵌入）为模型注入顺序信息。Transformer 的并行计算能力使其在大规模数据上训练效率远超 RNN，成为当前 NLP 与多模态领域的事实标准。

选型建议：图像任务优先 CNN 或 Vision Transformer（ViT）；短序列、实时性要求高的任务可考虑 LSTM；长文本、跨模态、需要全局语义理解的任务选择 Transformer 系模型。实际工程中，也可将 CNN 与 Transformer 结合（如 ViT 的 patch embedding 阶段即使用卷积）。

2.4 案例：从模型选择到训练完成

假设某电商平台需要构建一个商品评论情感分类器，输入为评论文本，输出为“正面/负面/中性”三分类。数据规模约 50 万条标注评论。我们对比三种方案的可行性：

  • 方案 A（LSTM）：Embedding(300) → BiLSTM(128) → 全连接(3)。训练约 4 小时/epoch（单卡 V100），需 15 个 epoch 收敛，准确率约 91%。
  • 方案 B（Transformer）：使用预训练 BERT-base 微调，训练 3 个 epoch 即达 94% 准确率，但单 epoch 需 6 小时，且需额外处理序列长度限制（512 token）。
  • 方案 C（CNN + 词向量）：TextCNN 结构，训练速度最快（1 小时/epoch），但准确率仅 88%，适合作为基线模型。

最终选择方案 B，理由：准确率提升 3 个百分点对业务影响显著，且预训练模型减少了标注数据需求。实际部署时采用蒸馏后的 TinyBERT，推理延迟从 45ms 降至 8ms，满足线上实时要求。

2.5 常见误区与复盘

误区一：盲目堆叠层数。深层网络不一定更好。ResNet 解决了退化问题，但若数据量不足，深层模型反而过拟合。应从小模型开始，逐步增加容量，观察验证集表现。
误区二：忽略数据分布变化。训练集与线上数据分布不一致（如评论长度、表情符号使用习惯随时间变化），导致模型线上效果衰减。需要建立数据漂移监控机制，定期用新数据微调。
误区三：将准确率作为唯一指标。在类别不平衡场景（如负面评论仅占 5%），准确率会虚高。应综合使用 Precision、Recall、F1-score，并绘制混淆矩阵分析错误类型。

复盘要点：每次训练实验都应记录完整的超参数配置、数据版本、代码版本与评估结果，便于复现与对比。企业级管线中，模型实验管理平台（如 MLflow、Weights & Biases）是必备基础设施，而非可选项。

← 上一章 📖 返回目录 下一章 →