一、实时数据产品全景

大家好，我是老张。做数据产品这些年，我最大的感触就是——实时数据产品，正在从「锦上添花」变成「雪中送炭」。今天咱们就来聊聊，到底什么是实时数据产品，它跟离线有什么不同，以及它到底能用在哪些地方。

1.1 什么是实时数据产品

先给个定义。实时数据产品，说白了就是数据从产生到被消费，延迟在秒级甚至毫秒级的产品形态。用户看到的数据，就是当前正在发生的事。

举个例子。你打开一个电商大屏，看到「今日成交额：1.2亿」，这个数字是实时累加的。每下一单，数字就跳一下。这就是实时数据产品。

我个人习惯把实时数据产品分成三类：

• 实时监控类：大屏、监控看板、告警系统
• 实时决策类：实时推荐、实时风控、实时定价
• 实时交互类：实时搜索、实时聊天、实时协作

你想想看，这三类产品的核心差异是什么？延迟容忍度。监控类可以容忍几秒，决策类需要毫秒级，交互类则要求亚秒级。

1.2 实时与离线对比

很多同学问我：「老张，实时和离线到底差在哪？」我一般会用一个比喻来解释。

离线数据就像拍照片。你按下快门，记录的是那个瞬间的样子。实时数据就像看直播。你看到的每一帧，都是正在发生的。

下面这张表，是我在项目中总结的对比：

对比维度	离线数据	实时数据
延迟	分钟级 ~ 天级	秒级 ~ 毫秒级
计算模式	批处理（Batch）	流处理（Streaming）
数据量	全量历史数据	增量实时数据
存储	HDFS、Hive、数仓	Kafka、Redis、内存
典型框架	MapReduce、Spark SQL	Flink、Spark Streaming
准确性	精确（可重跑）	近似（有误差）
成本	较低（可错峰）	较高（需常驻资源）

嗯，这里要注意。实时数据有个「不可能三角」：低延迟、高吞吐、高准确，三者只能取其二。我在做实时风控项目时，就因为这个踩过坑。

1.3 实时数据产品典型应用场景

接下来，咱们看看实时数据产品到底用在哪。我挑四个最常见的场景来讲。

1.3.1 大屏

大屏是实时数据产品最「显眼」的应用。你想想看，领导站在大屏前，看到的数据如果是昨天的，那还有什么意义？

大屏的核心能力有三个：

• 实时刷新：数据秒级更新，比如交易额、在线人数
• 动态展示：地图上的热力图、流动的轨迹线
• 异常告警：指标突降时，大屏自动闪烁

我记得有一次做双11大屏，流量峰值时每秒要处理10万条交易数据。大屏上的数字跳得飞快，领导问：「这数据准吗？」我说：「准，但延迟不超过3秒。」

1.3.2 实时报表

实时报表跟传统日报、周报不同。它展示的是当前时刻的业务状态。

举个例子。运营同学想看「今天新注册用户数」，实时报表上显示的是从0点到现在的累计值，每5秒刷新一次。而不是等到明天早上才能看到昨天的数据。

实时报表的典型场景：

• 运营监控：实时PV/UV、实时转化率
• 业务看板：实时订单量、实时库存
• 财务监控：实时收入、实时成本

1.3.3 实时推荐

实时推荐，就是根据用户当前的行为，实时调整推荐内容。

你打开淘宝，搜了「运动鞋」。下一秒，首页推荐就变成了各种运动鞋。这就是实时推荐在起作用。

实时推荐的技术链路：

1. 行为采集：用户点击、搜索、加购等行为实时上报
2. 特征计算：实时计算用户当前兴趣向量
3. 召回排序：从海量商品中召回候选集，实时排序
4. 结果下发：将推荐结果推送给前端

这里有个坑。实时推荐对冷启动非常敏感。新用户没有历史行为，怎么办？我一般会用「实时上下文」来兜底——比如用户当前的地理位置、时间、天气等。

1.3.4 实时风控

实时风控，是实时数据产品中最「硬核」的应用。它要求在毫秒级内判断一笔交易是否风险。

你刷信用卡消费1000元。银行后台在0.5秒内完成了：

• 检查你的账户余额
• 比对历史消费习惯
• 判断当前地理位置是否异常
• 查询该商户是否在黑名单
• 综合评分，决定是否拦截

这就是实时风控。我做过一个支付风控项目，规则引擎里跑了200多条规则，每条规则必须在10毫秒内返回结果。

下面这张图，展示了实时数据产品的整体架构：

从这张图你能看到，实时数据产品不是单一的技术栈，而是一个端到端的链路。从数据源到最终展示，每一层都有不同的技术选型和挑战。

好了，以上就是实时数据产品的全景概览。咱们把概念理清了，后面几章会深入每个环节的实战细节。