1. 课程导论：什么是批次偏移、为什么特征稳定性重要、课程目标与学习路径
1.1 什么是批次偏移
在机器学习生产环境中，模型依赖的输入特征分布会随着时间、数据源或采集逻辑的变化而发生改变。这种特征分布在不同时间窗口或数据批次之间的系统性差异，被称为批次偏移。
批次偏移通常表现为以下三种形态：
| 偏移类型 | 定义 | 典型场景 |
|---|---|---|
| 协变量偏移 | 输入特征 X 的分布发生变化，但条件分布 P(Y|X) 不变 |
用户年龄分布因新渠道获客而变年轻 |
| 先验概率偏移 | 标签 Y 的边缘分布发生变化 |
风控场景中坏账率从 2% 升至 5% |
| 概念偏移 | P(Y|X) 本身发生变化，特征与标签的关系改变 |
疫情后消费行为与收入的关系不再线性 |
核心观点： 批次偏移是模型性能衰减的首要信号。在特征层面提前发现偏移，比等到模型指标下降后再排查，能节省数倍修复成本。
1.2 为什么特征稳定性重要
特征稳定性直接影响模型在线上环境的可预期性与可靠性。当特征分布发生偏移时，即使模型结构未变，其输出概率、排序结果或分类边界也会产生不可控的漂移。
特征稳定性对业务的影响体现在三个层面：
- 模型性能衰减：离线 AUC 与线上效果出现剪刀差，KS 或 LogLoss 持续恶化。
- 决策逻辑失效：风控阈值、推荐排序、定价策略基于历史分布校准，偏移后决策质量下降。
- 监控盲区扩大：仅监控模型输出指标（如平均分、通过率）无法定位根因，特征级监控才是诊断入口。
行业经验： 头部互联网公司通常要求特征 PSI（群体稳定性指标）< 0.1，超过 0.25 即触发告警与模型重训流程。
1.3 课程目标与学习路径
本课程旨在帮助数据科学家与机器学习工程师，掌握一套基于 SQL 窗口函数的批次偏移诊断框架，实现从特征数据接入到偏移告警的全链路实战能力。
课程围绕以下四个核心目标展开：
- 理解偏移原理：掌握批次偏移的数学定义、统计检验方法与业务影响评估。
- 掌握 SQL 窗口函数：熟练运用
LAG、LEAD、RANK、NTILE、PERCENT_RANK等函数进行分布对比。 - 构建诊断流水线：设计可复用的特征稳定性监控表，支持每日/每周自动计算 PSI、KL 散度、分布差异指标。
- 落地生产实践：输出可直接部署的 SQL 脚本、调度方案与告警规则。
学习路径分为三个阶段：
| 阶段 | 章节范围 | 核心产出 |
|---|---|---|
| 基础篇 | 第 1-8 章 | 理解偏移概念，掌握窗口函数语法与分布对比方法 |
| 进阶篇 | 第 9-20 章 | 实现 PSI 计算、分位数漂移检测、多维度聚合诊断 |
| 实战篇 | 第 21-30 章 | 搭建完整监控看板，配置告警，处理真实生产案例 |
前置要求： 本课程假设学习者已具备基础 SQL 语法能力（SELECT、JOIN、GROUP BY），并了解基本的概率统计概念（均值、方差、分位数）。课程中涉及的窗口函数与偏移指标将从零开始讲解。