1. 实时指标计算概述

大家好，我是这次课程的主讲。在数据工程这个行当摸爬滚打了十来年，我见过太多「跑批跑死人，上线火葬场」的项目。今天咱们聊的实时指标计算，说白了就是让数据从「事后诸葛亮」变成「现场指挥官」。

你想想看，一个电商大促的实时大屏，每秒钟都在刷新 GMV、订单量、库存水位——这就是实时指标。它跟传统的 T+1 离线报表，完全是两码事。

1.1 什么是实时指标

实时指标，就是数据产生后，在秒级或毫秒级内完成计算并输出的度量值。它不像离线任务那样等一天才出结果，而是数据流一到，结果就出来。

我习惯把实时指标分成三类：

• 累计型指标：比如今日 PV、UV，从零点开始累加，永不重置。
• 滑动窗口指标：比如过去 5 分钟的接口平均响应时间，窗口一直在往前滑。
• 趋势型指标：比如当前流量相比上一小时的环比增长率，反映变化方向。

1.2 实时计算与离线计算的对比

很多人觉得实时计算就是离线计算的「加速版」。其实不是。它们的架构设计、存储选型、容错机制，差异非常大。

下面这张表，是我在多个项目里总结出来的对比：

对比维度	离线计算	实时计算
数据到达	批量、有序、完整	流式、无序、可能迟到
计算触发	定时调度（如每天凌晨）	事件驱动（数据一到就算）
存储选型	HDFS、Hive、数仓分层	Kafka、Redis、Druid、ClickHouse
容错方式	重跑整个分区	状态快照 + 精确一次语义
延迟要求	小时级到天级	秒级到分钟级
典型框架	Hive、Spark SQL、MapReduce	Flink、Spark Streaming、Kafka Streams

1.3 实时计算的应用场景

实时计算不是万能的，但在某些场景下，它是唯一的选择。我挑几个典型的说说：

1.3.1 实时大屏与监控

这是最常见的场景。双十一大屏、业务监控看板、运维告警平台，背后都是实时指标在支撑。我记得有一次帮某银行做反欺诈大屏，要求延迟不超过 3 秒——Flink 的 ProcessFunction 配合 Redis 状态存储，勉强压线通过。

1.3.2 实时推荐与个性化

用户刚点了一个商品，下一秒推荐系统就要更新候选集。这背后是实时的用户行为序列拼接和特征计算。说白了，就是「你刚看了什么，我就给你推什么」。

1.3.3 实时风控与反欺诈

每一笔交易进来，都要在几百毫秒内判断是不是盗刷。规则引擎 + 实时指标（比如「该设备过去 1 小时交易次数」）是标配。我曾经踩过一个坑：滑动窗口的 watermark 设置太激进，导致正常交易被误判为异常——后来改成 allowedLateness + 侧输出补偿才解决。

1.3.4 实时数据入湖与 ETL

CDC（变更数据捕获）数据从 MySQL 实时同步到 Kafka，再写入 Hudi/Iceberg 湖仓。这个场景下，实时指标用来监控同步延迟、数据量、脏数据比例。嗯，这里要注意：实时 ETL 的指标计算不能影响主链路的吞吐，我一般会用「旁路计算」的方式来做。

1.4 实时指标计算的核心逻辑

说了这么多，咱们用一张图来总结实时指标计算的整体框架。这张图是我在多个项目中反复迭代出来的，你可以把它当作后续章节的「地图」：

从这张图你能看到，实时指标计算不是孤立的。数据从源进来，经过引擎处理，在指标层完成各种窗口和聚合逻辑，最后输出到下游存储或展示系统。每一层都有自己要注意的坑——后面章节我会一个一个拆开讲。