📊 评估体系总览

模型评估与预测精准度提升 · 第一课

🎯 核心目标泛化能力 · 可靠性

🧠 关键概念过拟合 · 欠拟合

📈 实战偏差-方差权衡

🔍 为什么需要模型评估？

模型评估是机器学习的“体检报告”——没有评估，就无法知道模型在真实世界中的表现。就像学生不能只靠课堂小测，还需要期末考试、综合测评一样，机器学习模型也需要多维度的评估来验证其泛化能力。

避免“自欺欺人”：训练集上的高分可能是死记硬背，评估能揭露真实水平。
选择最优模型：不同算法、超参数，通过评估指标（准确率、F1、AUC等）选出冠军。
诊断模型行为：是否对某些类别有偏见？是否对噪声过于敏感？评估揭示弱点。
建立信任：在医疗、金融等领域，可靠的评估体系是落地的前提。

🎯 评估的核心目标

评估不是简单看一个数字，而是围绕三个核心问题：

目标维度	说明	典型指标
泛化能力	模型在未见过的数据上的表现，避免过拟合	验证集准确率、交叉验证得分
鲁棒性	对噪声、异常值、分布偏移的容忍度	对抗测试、置信区间
可解释性	不仅知道“是什么”，还要知道“为什么”	特征重要性、SHAP值
公平性	不同群体间表现一致，无偏见	均等化几率、人口均等

评估体系就像一面多棱镜，从不同角度照亮模型的能力与缺陷。

⚖️ 过拟合 vs 欠拟合 · 直观理解

📌 偏差-方差视角中小学生色系

想象你要画一条线来区分红蓝小球：

欠拟合 (Underfitting)：用直尺画一条直线，太简单，漏掉很多球 → 高偏差，连训练集都分不好。
过拟合 (Overfitting)：用弯弯曲曲的线穿过每一个球，甚至包括噪声 → 高方差，训练集满分，但新数据一塌糊涂。
恰到好处 (Just right)：平滑曲线，抓住主要模式，泛化最强。

⭐ 三种拟合状态：欠拟合（左）· 过拟合（中）· 恰到好处（右）

🧩 评估体系架构图

评估体系不是单点，而是一个从数据到迭代的闭环

🧪 代码片段 · 学习曲线诊断

利用学习曲线快速判断拟合状态：

# 学习曲线示例 (过拟合 vs 欠拟合)
from sklearn.model_selection import learning_curve
import matplotlib.pyplot as plt

train_sizes, train_scores, test_scores = learning_curve(
    model, X, y, cv=5, train_sizes=[0.2, 0.4, 0.6, 0.8, 1.0]
)

# 计算均值与标准差
train_mean = train_scores.mean(axis=1)
test_mean = test_scores.mean(axis=1)

# 如果训练得分极高(>0.98)而测试得分低 → 过拟合
# 如果两者都低 → 欠拟合
print(f"训练得分: {train_mean[-1]:.3f}, 测试得分: {test_mean[-1]:.3f}")