1、指标聚合基础：从原始数据到业务洞察

指标聚合，说白了就是把一堆零散的原始数据点，按照某种规则「揉」成一个或几个有意义的数值。我刚开始接触监控系统时，总觉得直接看原始数据最真实——后来被海量数据淹没过几次，才明白聚合的价值。

什么是指标聚合

想象一下，你面前有 10 万台服务器的 CPU 使用率，每秒上报一次。如果直接看原始数据，你的屏幕会变成一片乱码。聚合就是把这些数据按时间窗口（比如 1 分钟）或维度（比如按机房）分组，然后计算平均值、最大值、分位数等统计量。

举个例子，原始数据长这样：

时间戳                host1_cpu   host2_cpu   host3_cpu
2025-01-15 10:00:01   45.2        78.1        32.7
2025-01-15 10:00:02   46.0        77.9        33.1
2025-01-15 10:00:03   44.8        78.3        32.9
...

聚合后变成：

时间窗口               avg_cpu     max_cpu     p99_cpu
2025-01-15 10:00      52.3        78.3        77.8

你看，300 条数据变成了 1 条。这就是聚合的力量。

为什么需要聚合

这个问题我问过不少新人，答案五花八门。我总结三个最核心的原因：

• 数据量太大，存不下——10 万台服务器 × 100 个指标 × 1 秒粒度，一天就是 864 亿条数据。不聚合，存储成本直接爆炸。
• 人眼看不完——你盯着每秒变化的数字，能看出什么规律？聚合后的趋势线才是人类能理解的。
• 告警需要稳定信号——单点抖动可能只是网络延迟，聚合后的趋势才能反映真实问题。

聚合的常见场景

聚合不是银弹，但确实无处不在。我按领域分了三类：

场景	典型需求	聚合方式	我踩过的坑
监控	服务器 CPU、内存、网络	时间窗口聚合（avg/max/p99）	窗口太小告警太多，窗口太大延迟太高
BI 分析	日活用户、GMV、转化率	维度聚合（按天/按地区/按渠道）	维度爆炸导致查询超时
实时计算	风控、推荐、实时大屏	滑动窗口 + 增量聚合	乱序数据导致结果不准

监控场景

这是我最熟悉的领域。监控聚合的核心是「降噪 + 压缩」。举个例子，我们有个集群 5000 台机器，每台每秒上报 CPU 使用率。如果直接画 5000 条曲线，运维根本看不下去。

我的做法是：

1. 先按机器聚合：每台机器 1 分钟窗口，取平均值
2. 再按集群聚合：5000 台机器的平均值、P95、P99
3. 最后画三条线：avg（正常水位）、p95（大部分机器）、p99（异常边缘）

这样一张图就能看清集群整体健康度。嗯，这里要注意：p99 对异常非常敏感，有时候单台机器出问题，p99 会瞬间飙升，而 avg 可能纹丝不动。

BI 分析场景

BI 聚合更关注「维度下钻」。比如电商平台看 GMV，不能只看总数，要按地区、品类、时段拆分。我见过最夸张的案例：一个 BI 报表有 20 个维度，每个维度几十个取值，组合起来上亿种聚合结果。

解决方案是预聚合——提前算好常用维度的聚合结果，查询时直接读。这叫 OLAP 中的「物化视图」或「预计算」。我曾经因为没做预聚合，一个季度报表跑了 6 个小时，被业务方追着骂。

实时计算场景

实时聚合对延迟要求极高。比如风控系统，需要在 100ms 内判断当前交易是否异常。这时候不能用离线批处理，得用滑动窗口 + 增量聚合。

举个例子，统计过去 5 分钟的交易金额：

// 伪代码：滑动窗口聚合
window = sliding_window(size=5min, slide=10s)
for each transaction:
    window.add(transaction.amount)
    result = window.sum()
    if result > threshold:
        alert("异常交易")

这里有个坑：乱序数据。交易可能先发生在 A 机房，但日志晚到了 2 秒。如果窗口正好在 2 秒前关闭，这笔交易就丢了。我处理过类似问题，最后用了「允许延迟 + 水位线」机制。

聚合的核心逻辑：一张图说清楚

下面这张图展示了指标聚合的完整链路，从原始数据到最终输出：

这张图我画了好几次才满意。你看，从左到右是数据流，从上到下是策略选择。实际项目中，我通常先评估数据量和延迟要求，再决定用哪种策略。

聚合的代价：不是免费的午餐

聚合虽然好，但也有代价。我总结了几点：

• 信息丢失——聚合后的数据无法还原原始细节。比如你只存了每分钟平均值，那这一分钟内的毛刺就永远丢了。
• 延迟增加——聚合需要等待窗口结束才能输出结果。窗口越大，延迟越高。
• 计算成本——实时聚合需要消耗 CPU 和内存。我见过一个团队用 Flink 做聚合，窗口状态太大，直接把集群搞 OOM 了。