📚 课程目录第1章课程导论

1. 课程导论：什么是批次偏移？为什么特征稳定性分析需要窗口函数？

1.1 什么是批次偏移？

在数据驱动的机器学习系统中，模型依赖的输入特征分布会随时间、数据源或业务逻辑的变化而发生改变。当这种变化导致模型在某个时间窗口内的预测性能显著下降时，我们称之为批次偏移。批次偏移是特征稳定性失效的典型表现，也是模型监控中最需要优先检测的问题之一。

  核心定义： 批次偏移是指同一特征在不同数据批次（如按天、按周、按业务线划分的数据集）之间的统计分布差异，超出了正常波动范围，且这种差异会直接影响模型输出的可靠性。

批次偏移通常表现为以下几种形式：

偏移类型	描述	典型场景
均值偏移	特征的平均值在批次间发生系统性变化	用户年龄字段因新注册用户群体变化而整体上升
方差偏移	特征的离散程度在批次间显著扩大或缩小	交易金额字段因大促活动导致波动范围剧增
分布形态偏移	特征的偏度、峰度或整体分布形状改变	点击率字段从正态分布变为双峰分布
缺失率偏移	特征的空值比例在批次间出现跳变	设备型号字段因采集接口升级导致缺失率骤降

1.2 为什么特征稳定性分析需要窗口函数？

传统的特征稳定性分析通常采用全局对比方式：将当前批次与历史全量数据做统计检验。这种方法存在两个致命缺陷：

历史污染：全量数据中包含了大量旧批次信息，会稀释当前批次的偏移信号，导致检测灵敏度下降。
无法定位偏移起点：全局对比只能告诉你“有偏移”，但无法回答“偏移从哪个批次开始”、“偏移持续了多久”等关键诊断问题。

窗口函数通过引入滑动窗口和分区排序机制，完美解决了上述问题：

按时间窗口聚合：使用 PARTITION BY 按批次标识分组，用 ORDER BY 按时间排序，可以精确计算每个批次相对于前 N 个批次的统计量变化。
逐行诊断偏移：通过 LAG()、LEAD() 等偏移函数，直接定位每个批次与相邻批次的差异值，实现偏移的逐点诊断。
动态计算稳定性指标：结合 AVG()、STDDEV() 等窗口聚合函数，可以实时计算滑动窗口内的均值、标准差，进而构造 PSI（群体稳定性指标）或 Z-Score 等偏移度量。

一句话总结： 窗口函数让特征稳定性分析从“静态全局对比”升级为“动态局部诊断”，能够精准回答“哪个批次、哪个特征、偏移了多少、持续了多久”。

1.3 课程目标与学习路径

本课程旨在帮助你掌握使用 SQL 窗口函数进行批次偏移诊断和特征稳定性分析的核心技能。课程采用理论 + 实战 + 案例三位一体的教学方式，确保学完即用。

模块	章节范围	核心目标
基础篇	第 1-5 章	理解批次偏移概念，掌握窗口函数基础语法与分区排序逻辑
诊断篇	第 6-15 章	使用 LAG/LEAD 进行逐批次偏移检测，构建滑动窗口统计量
度量篇	第 16-22 章	实现 PSI、Z-Score、分布差异检验等稳定性指标
实战篇	第 23-28 章	完成端到端特征稳定性监控看板与报警系统
总结篇	第 29-30 章	回顾知识体系，掌握生产环境部署与优化技巧

前置要求： 本课程假设你已掌握基础 SQL 语法（SELECT、WHERE、GROUP BY、JOIN），并了解基本的统计概念（均值、方差、分布）。如果你对窗口函数完全陌生，建议先快速浏览第 2-3 章的基础语法部分。

1.4 一个直观的批次偏移示例

假设我们有一个用户行为特征 click_rate（点击率），按天采集数据。以下是连续 7 天的数据：

-- 模拟数据：每日点击率均值
day       | click_rate_avg
----------|---------------
2024-01-01| 0.052
2024-01-02| 0.051
2024-01-03| 0.053
2024-01-04| 0.048
2024-01-05| 0.035  <-- 偏移开始
2024-01-06| 0.032  <-- 偏移持续
2024-01-07| 0.034  <-- 偏移持续

使用窗口函数 LAG() 可以快速定位偏移：

SELECT
    day,
    click_rate_avg,
    LAG(click_rate_avg, 1) OVER (ORDER BY day) AS prev_day_rate,
    click_rate_avg - LAG(click_rate_avg, 1) OVER (ORDER BY day) AS diff
FROM daily_click_rate
ORDER BY day;

输出结果中，2024-01-05 的 diff 值为 -0.013，远大于正常波动范围（±0.003），这就是一个典型的批次偏移信号。本课程后续将教你如何用更复杂的窗口函数组合来系统化地检测和量化这类偏移。