1、流水线基础认知：什么是实时流水线

大家好，我是这次课程的主讲。做了十几年数据工程，我见过太多「跑批跑死、实时搞崩」的案例了。今天咱们先打好地基——聊聊实时流水线到底是个什么东西。

说白了，实时流水线就是一条数据从产生到被消费，延迟控制在秒级甚至毫秒级的处理链路。数据一来，立刻处理，不排队、不等批。

我习惯把实时流水线比作「机场安检传送带」——行李一放上去，马上扫描、分拣、装车，没有等待区。而批处理呢？更像是「货运火车调度」——先攒够一整列，再统一发车。

批处理与流处理的区别

这个区别，我当年面试新人时必问。其实没那么玄乎，咱们直接看对比：

维度	批处理 (Batch)	流处理 (Stream)
数据范围	处理「过去一段时间」的静态数据	处理「当前时刻」的持续数据
延迟	分钟级 ~ 小时级	毫秒级 ~ 秒级
触发方式	定时调度（如每天凌晨 2 点）	事件驱动（数据一到就触发）
数据量	大块、有界（如昨天的所有日志）	持续、无界（如当前所有点击流）
典型工具	Hive、Spark SQL、MapReduce	Flink、Kafka Streams、Spark Streaming
计算模型	一次读取，全量计算	持续读取，增量计算

举个例子你就明白了。假设你在监控电商网站的实时订单：

• 批处理：每天凌晨跑一次脚本，统计昨天的总订单数。优点是准确，缺点是——如果昨晚服务器挂了，你今早才知道。
• 流处理：每来一笔订单，立刻更新大屏上的实时销售额。延迟不到 1 秒，运营能当场发现异常。

实时流水线的应用场景

你可能会问：「实时流水线到底能干啥？」我挑三个最典型的场景讲讲，都是我在项目中亲手搭过的。

1. 日志监控与异常告警

这是实时流水线最经典的应用。我记得有一次，某金融客户的生产环境突然出现大量 5xx 错误。如果是批处理，等跑完统计报表，用户早就投诉到客服了。

实时流水线的做法是：

1. 应用服务器实时输出日志到 Kafka
2. Flink 消费 Kafka，按窗口（比如 10 秒）统计错误率
3. 错误率超过阈值（比如 5%），立刻触发告警
4. 告警推送到钉钉/短信/电话

整个链路延迟不超过 5 秒。运维人员能在用户感知之前介入处理。

2. 实时推荐

你刷抖音、逛淘宝时，那些「猜你喜欢」是怎么来的？背后就是实时流水线在干活。

推荐系统的实时流水线大致长这样：

• 用户行为采集：点击、浏览、加购、收藏，实时上报到消息队列
• 特征计算：实时计算用户最近 5 分钟的行为向量
• 模型推理：把特征送入训练好的模型，实时输出推荐结果
• 结果下发：推荐列表写入 Redis，用户刷新页面时直接读取

我参与过的一个资讯推荐项目，上线实时流水线后，用户点击率提升了 23%。原因很简单——用户刚点完「科技」频道，下一秒推荐的就是科技类文章，体验自然好。

3. 实时风控

这个场景最考验实时流水线的「硬实力」。金融交易、反欺诈、账号安全，每一毫秒都关乎真金白银。

典型的实时风控流水线：

1. 用户发起交易请求（如转账 10 万）
2. 请求数据实时进入风控引擎
3. 引擎在 100 毫秒内完成：设备指纹校验、地理位置比对、历史行为分析、规则匹配
4. 输出决策：放行 / 人工审核 / 直接拦截

我做过一个支付风控项目，初期用批处理跑规则，每天只能跑一次。结果有用户凌晨被盗刷，直到早上 8 点才触发告警。后来换成 Flink 实时流水线，每笔交易都在 50 毫秒内完成风控判断，再也没有出现过「事后诸葛亮」的情况。

本章知识体系总览

下面这张图，是我自己梳理的实时流水线知识框架。你可以把它当作整个课程的地图：

嗯，这张图基本概括了本章的核心内容。从实时流水线的定义出发，到它和批处理的区别，再到三个典型应用场景，最后落到技术栈。后面的课程，我们会逐个深入这些技术组件。