1. 课程导论：什么是参数优化？什么是过拟合？为什么两者是机器学习中的核心矛盾？

1.1 什么是参数优化？

参数优化是机器学习模型训练的核心过程。简单来说，就是通过调整模型内部的参数（权重和偏置），使得模型在训练数据上的预测误差最小化。这个过程可以类比为“寻找山谷的最低点”——参数是位置，损失函数是海拔高度，优化算法则是下山的路径。

常见的优化算法包括：

• 梯度下降（GD）：计算所有样本的梯度，更新方向准确但计算量大。
• 随机梯度下降（SGD）：每次只用一个样本更新，速度快但震荡大。
• 小批量梯度下降（Mini-batch GD）：折中方案，每次用一小批样本更新。
• 自适应优化器（Adam、RMSprop）：自动调整学习率，收敛更稳定。

1.2 什么是过拟合？

过拟合是指模型在训练数据上表现极好，但在未见过的测试数据上表现糟糕的现象。模型“死记硬背”了训练数据中的噪声和细节，而没有学到真正的通用规律。

过拟合的常见原因：

• 模型容量过大（层数太多、参数太多）。
• 训练数据不足或分布单一。
• 训练时间过长（过度迭代）。
• 数据中存在噪声，模型将其当作规律学习。

1.3 为什么两者是核心矛盾？

参数优化追求在训练集上达到最小损失，而过拟合恰恰是这种“过度追求”的副作用。优化越彻底，模型越容易记住训练数据的细节，导致泛化能力下降。这种矛盾被称为机器学习中的“偏差-方差权衡”（Bias-Variance Tradeoff）。

维度	参数优化	过拟合
目标	最小化训练损失	训练损失极低，但测试损失高
表现	模型逐步拟合数据分布	模型拟合了噪声和异常点
风险	优化不足（欠拟合）	泛化能力差，无法用于新数据
关系	过度优化是过拟合的直接诱因	过拟合是优化失控的典型结果

1.4 课程目标与学习路径概览

本课程旨在帮助你系统掌握参数优化的核心方法，并学会如何检测和防止过拟合。你将通过实际案例，理解两者之间的动态平衡。

课程目标

• 理解原理：掌握梯度下降、正则化、早停等核心机制。
• 学会检测：使用学习曲线、验证集评估、交叉验证等方法识别过拟合。
• 掌握工具：熟练应用 L1/L2 正则化、Dropout、数据增强等防过拟合技术。
• 实战能力：通过真实数据集案例，独立完成参数调优与过拟合诊断。

学习路径

阶段	章节范围	核心内容
基础篇	第 1-5 章	参数优化基础、损失函数、梯度下降原理
进阶篇	第 6-12 章	学习率调度、动量优化、自适应优化器
过拟合篇	第 13-20 章	过拟合检测方法、正则化技术、Dropout、早停
实战篇	第 21-28 章	综合案例：房价预测、图像分类、文本分类
总结篇	第 29-30 章	最佳实践总结、面试题解析