4. 阈值分层思想起源：从模型校准到分层决策
阈值分层（Threshold Stratification）并非凭空创造，其思想根植于概率分类模型的校准（Calibration）需求。当模型输出一个概率值（如 0.7）时，我们期望这个概率真实反映事件发生的频率——即所有预测概率为 0.7 的样本中，大约 70% 确实为正例。然而，原始模型往往存在校准偏差，需要通过概率分箱（Probability Binning）与可靠性图（Reliability Diagram）来诊断和修正，进而自然演化为分层决策策略。
4.1 校准的核心问题：概率不等于置信度
一个未校准的分类模型，其输出概率可能整体偏高（过度自信）或偏低（保守）。例如，逻辑回归默认假设线性决策边界，当特征空间存在非线性交互时，其概率估计会系统性偏移。下表总结了常见模型的校准倾向：
| 模型类型 | 典型校准偏差 | 产生原因 |
|---|---|---|
| 逻辑回归 | 中等偏差，偏向极端概率 | 线性假设与真实分布不匹配 |
| 决策树 / 随机森林 | 严重过度自信（概率集中在 0/1 附近） | 叶子节点样本量小，概率估计粗糙 |
| 梯度提升树（XGBoost/LightGBM） | 中等过度自信 | 逐步拟合导致概率分布收缩 |
| 神经网络（未调优） | 严重过度自信 | 交叉熵损失鼓励输出接近 0/1 |
| Platt 缩放 / 温度缩放后 | 接近完美校准 | 后处理映射修正概率分布 |
关键洞察： 校准偏差不是“错误”，而是模型输出概率与真实频率之间的系统性映射偏移。阈值分层的本质，就是利用这种偏移在不同概率区间的一致性，将连续概率空间划分为若干“校准行为相似”的区间，再对每个区间独立决策。
4.2 概率分箱：将连续概率离散化
概率分箱是将模型输出的连续概率值（0~1）划分为若干离散区间（Bins）的过程。这是构建可靠性图的第一步，也是阈值分层的前身。常见的分箱策略有三种：
- 等宽分箱（Equal-Width Binning）： 将 [0,1] 区间等分为 K 段（如 10 段，每段宽度 0.1）。简单直观，但样本分布不均时某些箱可能样本过少。
- 等频分箱（Equal-Frequency Binning）： 按样本量排序后均分，保证每个箱包含相同数量的样本。能避免空箱，但箱边界不固定。
- 自定义分箱（Custom Binning）： 根据业务或模型特性手动设定边界（如 [0,0.3), [0.3,0.7), [0.7,1]）。阈值分层通常采用此策略，因为决策边界往往集中在特定概率区间。
分箱后，每个箱内计算两个核心统计量：
- 平均预测概率（Mean Predicted Probability）： 箱内所有样本模型输出概率的平均值。
- 实际正例比率（Actual Positive Rate / Observed Frequency）： 箱内真实标签为正例的样本占比。
4.3 可靠性图：校准的可视化诊断工具
可靠性图以平均预测概率为横轴、实际正例比率为纵轴，将每个箱绘制为散点或折线图。完美校准的模型应落在对角线 y=x 上。下图展示了校准偏差的三种典型模式：
实践要点： 可靠性图不仅用于诊断，更揭示了概率区间的异质性。例如，S形偏差表明模型在中间概率区间（0.3~0.7）的校准最差，而两端区间相对较好。这正是阈值分层的切入点——对不同校准质量的区间，采用不同的决策阈值。
4.4 从可靠性图到分层决策：思想的跃迁
传统校准修正方法（如 Platt 缩放、保序回归）试图将整个概率分布映射到对角线上。但阈值分层采取了不同的视角：既然不同概率区间的校准质量不同，为何不直接对每个区间独立设定最优阈值？
这一思想跃迁包含三个关键步骤：
- 诊断区间异质性： 通过可靠性图识别哪些概率区间存在系统性偏差（过度自信或保守），哪些区间校准良好。
- 定义分层边界： 根据校准偏差模式、业务风险容忍度或样本密度，将概率空间划分为 2~5 个区间。常见边界如 [0,0.3)、[0.3,0.7)、[0.7,1]。
- 区间内独立优化： 在每个区间内，使用验证集搜索最优决策阈值（如最大化 F1 或最小化成本），而非全局使用单一阈值（如 0.5）。
下表对比了传统校准与阈值分层的核心差异：
| 维度 | 传统校准（Platt / Isotonic） | 阈值分层 |
|---|---|---|
| 目标 | 修正概率值，使其接近真实频率 | 不修正概率，直接优化每个区间的决策边界 |
| 输出 | 校准后的概率（连续值） | 每个区间一个决策阈值（离散策略） |
| 对模型影响 | 改变模型输出分布 | 不改变模型输出，只改变决策规则 |
| 适用场景 | 需要概率解释性（如风控评分卡） | 需要最终决策质量（如精准营销、医疗筛查） |
| 鲁棒性 | 对分布偏移敏感（需重新校准） | 区间边界固定后，对局部偏移更鲁棒 |
4.5 概率分箱与可靠性图的关系总结
概率分箱与可靠性图是阈值分层思想的诊断基石，其关系可概括为：
- 概率分箱是数据预处理步骤，将连续概率离散化为可统计的区间。
- 可靠性图是可视化诊断工具，展示每个箱的校准质量。
- 阈值分层是决策策略，利用可靠性图揭示的区间异质性，对每个箱独立设定阈值。
三者形成完整的“诊断-分析-决策”链条：
常见误区： 不要将阈值分层视为校准的替代品。如果业务场景需要输出“真实概率”（如信用评分卡），应先做 Platt 缩放或保序回归校准。阈值分层适用于最终决策优化场景，如“是否发送营销短信”“是否触发风控规则”，此时决策质量比概率准确性更重要。
4.6 本章小结
- 阈值分层思想起源于模型校准诊断，核心工具是概率分箱和可靠性图。
- 可靠性图揭示了不同概率区间的校准异质性，这是分层决策的生物学基础。
- 从“全局校准”到“分层决策”的跃迁，本质是从修正概率转向优化决策。
- 下一章将深入讲解如何选择分层边界，以及每个区间内如何搜索最优阈值。