第四章 时间序列基础知识：时间戳对齐、滑动窗口与滚动统计量
做实时异常检测，说白了就是跟时间赛跑。你想想看，访问日志像河水一样流过来，每一秒都有几千几万条记录，你得在它们进库之前就判断出哪些不对劲。
我刚开始接触这块时，也踩过不少坑。有个印象特别深的项目——线上的访问量半夜突然飙升，告警邮件炸了。结果排查了半天，发现是日志采集器的时间戳格式没对齐，把下午三点记成了凌晨三点。嗯，从那以后，我就把时间戳对齐列为了第一优先级。
4.1 时间戳对齐——所有分析的基石
什么是时间戳对齐？说白了，就是让所有数据都站在同一条时间线上。不同系统、不同模块生成的时间戳，格式可能完全不一样：有Unix时间戳（整数）、有ISO 8601（字符串）、甚至还有「2024-01-15 14:30:00」这种带时区的文本。
我个人习惯的做法是，在数据入口层统一转成UTC的datetime对象。为什么？因为时区偏移和夏令时是埋坑最好的地方。
我曾经有一个系统，服务器在北京时区，日志库在UTC时区。没做对齐前，滑动窗口算出来的均值和真相比特朗普的推特还不靠谱。对齐后，一切才回到正轨。
对齐的核心步骤其实就两步：
- 解析原始时间戳 — 用
pandas.to_datetime()或datetime.strptime()统一格式 - 重采样到固定频率 — 比如统一到1秒、10秒或1分钟的时间格点
import pandas as pd
# 原始数据，时间戳乱七八糟
df = pd.DataFrame({
'ts': ['2024-01-15 14:30:01', '2024-01-15 14:30:02.500', '2024-01-15 14:30:04'],
'count': [120, 135, 98]
})
# 统一解析，升到毫秒级
df['ts'] = pd.to_datetime(df['ts'], utc=True)
df = df.set_index('ts')
# 对齐到整秒，缺失的填充0
df_aligned = df.resample('1s').asfreq().fillna(0)
print(df_aligned)
对齐完之后，你的数据就变成了一个个整齐的时间切片。
4.2 滑动窗口——让统计「动起来」
静态统计谁都会算，但异常检测要的是动态视角。滑动窗口就是那个「移动的放大镜」，它只看最近一段时间的记录。
滑动窗口有两种主流的玩法：
| 窗口类型 | 说明 | 典型场景 |
|---|---|---|
| 滚动窗口 (Rolling) | 固定窗口长度，每次前进1步 | 检测近5分钟的请求量是否突增 |
| 扩展窗口 (Expanding) | 起点固定，终点不断扩展 | 计算累计平均值，看整体趋势 |
我做实时检测时，滚动窗口用得最多。为什么？因为窗口长度是固定的，对「突变」的敏感度最好控制。你设一个5分钟的窗口，它永远不会包含昨天晚上的高峰数据——而扩展窗口会，这就容易把异常淹没在历史平均值里。
窗口太小，容易误报（对毛刺太敏感）
窗口太大，容易漏报（异常被平滑掉）
我个人习惯：先用「业务周期 × 2」试跑，再逐级调整。
4.3 聚合函数——给窗口里的数据「画像」
窗口定好了，接下来要算这个窗口的统计量。最常用的就三个：计数、均值、标准差。
你在做访问量检测时，计数是最直接的特征——窗口里一共来了多少请求。但计数本身很脆弱，比如突然的爬虫扫站也有可能产生大量请求，但它的行为模式和正常用户不一样。这时候就要引入均值和标准差。
- 计数 (count) — 检测频率突变，比如DDoS攻击
- 均值 (mean) — 反映窗口的平均趋势，比如正常时段每分钟请求量是1000上下
- 标准差 (std) — 衡量离散程度，异常流量往往伴随方差急剧增大
我记得有一次做秒杀活动监控，正常时的计数均值是2000，标准差300。活动开始后计数均值冲到8000，但标准差也跟着涨到3000。这时候如果用单一的均值阈值，必误报；但配合标准差一起看，就知道这个波动是正常的业务脉冲——因为用户来得同时也在退，方差大是合理的。这才是组合拳的威力。
4.4 滚动统计量——在线计算的实战用法
前面讲的计数、均值、标准差，如果每次重新算整个窗口，效率太低了。真实场景下，我们要的是增量更新，也就是来一条新记录，旧窗口滑出去，新统计量瞬间算出来。这就是滚动统计量。
Pandas的.rolling()方法已经帮我们封装好了，但底层原理你得懂：
# 假设窗口大小是3秒
s = pd.Series([10, 12, 15, 14, 18, 20, 22])
# 滚动均值：每来一个新值，最老的值退出
rolling_mean = s.rolling(window=3).mean()
print(rolling_mean)
# 输出: NaN, NaN, 12.33, 13.67, 15.67, 17.33, 20.00
# 滚动标准差
rolling_std = s.rolling(window=3).std()
print(rolling_std)
看到没有？前两个值是NaN——窗口还没填满。这个细节在实际生产中很致命。你刚启动系统时，前N个时间步都是NaN，如果直接拿去做阈值判断，要么全员告警，要么全军静默。
我之前上线的一个爬虫检测系统，刚部署5分钟就爆了2000条告警。查了半天，就是滚动均值的前几个窗口没填满，NaN被当作0处理了。解决办法：要么用「最小填充数」参数（min_periods），要么先用历史数据预热窗口。
除了均值和标准差，我还会额外关注两个滚动统计量：
- 滚动最大值与最小值的差值（即range）：反映窗口内的极值变化
- 滚动分位数（如95%分位）：对抗噪点更鲁棒，适合检测长尾异常
举个例子：某个IP在5分钟窗口内，滚动95%分位数从200毫秒跳到2000毫秒，那基本可以断定它在试错漏洞——因为正常用户的响应时间不会这么离散。
4.5 这些知识点怎么串起来？
我整理了一张流程图，帮你把时间戳对齐 → 滑动窗口 → 聚合函数 → 滚动统计量这个链条理清楚。每一步都对应着异常检测管道中的一个环节。
流程其实不复杂：原始数据先进来，做时间戳对齐；然后滑动窗口切出一个个数据块；对每个数据块计算聚合函数；最后算出滚动统计量，作为异常判断的基础特征。这几个环节环环相扣，少一步都容易出问题。
这章的内容就是时间序列分析的「发动机」。你只要把对齐、窗口、聚合、滚动这四个概念吃透，后面的异常检测算法就像是往这台发动机上挂载武器——想挂哪种挂哪种。