3、数据管道基础架构：批处理与流处理、常见管道组件、典型架构图
聊到数据管道的基础架构，我脑子里最先蹦出来的不是技术选型，而是几年前一个凌晨三点被电话叫醒的夜晚。那次事故让我彻底明白——架构设计不只是画几个框框连几条线，它决定了你未来是睡安稳觉还是天天救火。
这一章，咱们把地基打牢。我会把批处理与流处理的区别、管道里的核心组件，以及一张能直接拿去画白板的架构图，掰开揉碎了讲清楚。
3.1 批处理 vs 流处理：两种节奏，两种哲学
很多人刚接触数据管道时，会纠结「到底该用批处理还是流处理」。我的建议是：别急着选，先搞清楚你的数据长什么样、业务等不等得起那几秒延迟。
| 维度 | 批处理 (Batch) | 流处理 (Streaming) |
|---|---|---|
| 数据范围 | 有界数据集（过去一段时间的数据） | 无界数据流（持续到达的数据） |
| 延迟要求 | 分钟级到小时级 | 毫秒级到秒级 |
| 处理模式 | 一次性扫描全部数据 | 逐条或微批次处理 |
| 典型场景 | 日报、月报、离线ETL | 实时监控、风控、推荐 |
| 容错方式 | 重跑整个批次 | 状态快照 + 重放 |
| 代表引擎 | Apache Spark (Batch), Hive | Apache Flink, Kafka Streams |
说白了，批处理就像你每个月查一次信用卡账单——等得起，算得准。流处理则像你盯着股票行情——晚一秒都可能亏钱。
我的经验： 别把批处理和流处理对立起来。我在做电商数据平台时，白天用流处理做实时大屏监控，晚上用批处理跑全量对账。两者互补，不是二选一。
3.2 常见管道组件：Ingestion、Transform、Storage
不管管道多复杂，核心就三个环节：数据接入（Ingestion）、数据转换（Transform）、数据存储（Storage）。嗯，就这么简单。但每个环节里都有坑。
3.2.1 数据接入（Ingestion）
这是管道的入口，也是最容易出幺蛾子的地方。我曾经遇到过一个案例：某系统用单线程拉取API数据，结果上游接口超时，整个管道卡死了一整天。
- 批量接入： 定时拉取（Sqoop、DataX）、文件导入（FTP/S3）。适合数据源稳定、量大的场景。
- 实时接入： 消息队列（Kafka、Pulsar）、日志采集（Flume、Filebeat）。适合高频、低延迟场景。
- 增量接入： 基于时间戳或CDC（Change Data Capture）。注意：CDC的binlog解析很吃资源，别在生产库上直接跑。
避坑指南： 我曾经在Kafka接入层没做限流，结果上游突发流量把下游数据库打挂了。记住：接入层一定要做背压（Backpressure）和熔断。
3.2.2 数据转换（Transform）
转换是管道的「大脑」。数据在这里被清洗、聚合、丰富。我见过很多团队把转换逻辑写得像意大利面条，最后谁也看不懂。
- ETL（Extract-Transform-Load）： 先转换再加载。适合数据质量要求高的场景，但中间存储开销大。
- ELT（Extract-Load-Transform）： 先加载再转换。适合数据湖架构，利用计算引擎的弹性。
- 流式转换： 在内存中做状态计算（如Flink的KeyedProcessFunction）。注意状态管理，别让状态无限膨胀。
核心原则： 转换逻辑要幂等。无论重跑多少次，结果必须一致。这是数据管道可观测性的基石。
3.2.3 数据存储（Storage）
存储是管道的终点，也是下一层管道的起点。选错存储，后面全白干。
| 存储类型 | 代表产品 | 适用场景 | 注意事项 |
|---|---|---|---|
| 数据湖 | HDFS、S3、ADLS | 原始数据存储、历史归档 | 小文件问题，建议合并写入 |
| 数据仓库 | ClickHouse、Snowflake | OLAP查询、报表 | 列式存储，适合聚合查询 |
| 消息队列 | Kafka、Pulsar | 流式数据缓冲、解耦 | 注意消息保留策略和分区数 |
| 搜索引擎 | Elasticsearch | 日志检索、全文搜索 | 写入吞吐有限，别当主存储用 |
3.3 典型架构图：一张图看懂数据管道
下面这张图是我在多个项目中沉淀下来的通用架构。它不花哨，但实用。你拿去画白板，团队里没人能挑出毛病。
3.4 架构设计中的几个关键决策点
画完架构图，别急着动手写代码。有几个决策点，我建议你提前想清楚：
- 数据一致性怎么保证？ 批处理可以用事务，流处理通常用「至少一次」语义。别在流处理里追求强一致性，代价太大。
- 状态管理怎么做？ 流处理的状态会随时间增长。我习惯用 RocksDB 做状态后端，定期做 checkpoint。
- 监控和告警怎么接入？ 每个组件都要暴露 metrics。别等到管道崩了才去查日志。
- 数据回溯能力？ 如果上游数据错了，你能重跑吗？Kafka 的消息保留策略要留够时间窗口。
一句话总结： 数据管道架构没有银弹。批处理稳，流处理快，存储选型看查询模式。把这三个组件搭好，你的管道就成功了一半。