1. 课程导入：实时数据湖仓一体架构的定义、发展背景、核心价值与整体框架
1.1 从“数据湖”与“数据仓库”的分野说起
在理解“实时数据湖仓一体”之前，必须先回顾数据平台演进的两次浪潮。传统数据仓库（Data Warehouse）以结构化数据为核心，依赖ETL流程将数据加工为高度建模的维度表与事实表，支撑BI报表与决策分析，但其扩展成本高、对半结构化数据支持弱。数据湖（Data Lake）则以低成本存储海量原始数据著称，支持任意格式，但缺乏事务保证与数据治理，容易退化为“数据沼泽”。
湖仓一体（Lakehouse）正是为了弥合两者鸿沟而提出的架构范式——在数据湖的低成本存储之上，引入数据仓库的事务性、索引与治理能力。而“实时”二字，则进一步将处理时延从T+1压缩到秒级甚至毫秒级，使数据湖仓一体从离线分析引擎进化为支撑实时决策的在线数据底座。
1.2 发展背景：为什么是“现在”发生
实时湖仓一体的出现并非偶然，而是技术成熟度与业务需求共同推动的结果。从业务侧看，互联网下半场的竞争要求企业具备分钟级甚至秒级的决策能力——风控需要实时识别欺诈特征，推荐系统需要基于用户最近5分钟的行为调整策略，供应链需要根据实时库存与订单动态调拨。传统T+1的数仓显然无法满足这些场景。
从技术侧看，三大基础设施的成熟为湖仓一体铺平了道路：
- 云原生对象存储普及：Amazon S3、阿里云OSS等提供近乎无限的扩展能力与极低存储成本，使得“保留所有原始数据”成为经济上可行的选择。
- 表格式（Table Format）的突破：Apache Iceberg、Hudi、Delta Lake等开源项目在数据湖文件之上实现了ACID事务、行级更新、时间旅行与Schema演化，让数据湖具备了数仓的可靠性。
- 流批一体计算引擎成熟：Flink的流处理能力与Spark的批处理能力逐步融合，同一套SQL逻辑可以同时跑在流与批之上，减少了维护两套代码的负担。
1.3 核心价值：四个维度的架构收益
| 价值维度 | 传统架构痛点 | 实时湖仓一体方案 |
|---|---|---|
| 数据一致性 | 离线链路与实时链路各自维护，同一指标两套口径 | 单一存储副本，流批共享同一份数据，ACID保证读一致性 |
| 时效性 | T+1批量计算，无法支撑实时决策 | 秒级延迟的增量计算，同时保留全量历史数据 |
| 成本效率 | 实时数仓（如Druid/ClickHouse）存储成本高，数据冗余 | 冷热分层存储，热数据在内存/SSD，冷数据在对象存储 |
| 开发效率 | 批流两套代码、两套运维、两套元数据 | 统一SQL、统一元数据、统一权限，一套代码跑批流 |
1.4 整体框架：五层逻辑架构
参考上方SVG图示，实时湖仓一体架构在逻辑上可划分为五个层次，每一层解决不同的问题域：
- 数据源层：包括业务库（MySQL/PostgreSQL）、消息队列（Kafka/Pulsar）、日志文件、物联网数据等。这一层的核心挑战是异构数据源的接入协议差异。
- 实时接入与处理层：通过CDC工具捕获数据库变更，或直接订阅消息队列，由Flink等引擎完成清洗、关联、聚合与实时建模。此层同时承担“批流一体”的调度职责，确保同一套逻辑在回填历史数据时也能正确执行。
- 统一存储层：以Iceberg/Hudi表格式管理Parquet/ORC文件，存放在对象存储或HDFS上。这一层是湖仓一体的核心——它让数据湖拥有了数仓的事务能力，同时保留开放格式与多引擎兼容性。
- 服务与查询层：Presto/Trino、Spark SQL、Flink等引擎直接读取存储层数据，提供交互式查询、批处理与流式消费能力。由于存储层已经统一，各引擎无需各自维护数据副本。
- 数据治理与管理：贯穿全链路的Schema注册、血缘追踪、数据质量监控与权限控制。这是湖仓一体能否从“技术可行”走向“生产可用”的关键保障。
1.5 典型场景与误区澄清
典型场景：某头部电商平台的“实时用户画像”系统。用户行为日志以每秒数十万条的速度写入Kafka，Flink实时消费并关联用户维表（存储在Iceberg中），将聚合后的标签结果写回Iceberg的“实时标签表”。业务方通过Presto查询该表，即可在3秒内获取用户最新兴趣偏好，用于推荐与营销触达。同时，离线任务每天凌晨对同一张表执行全量重算，修正因数据延迟导致的偏差——由于存储层统一，实时写入与离线修正天然合并，无需额外对账。
误区复盘：某金融企业初期采用“Kafka → Flink → ClickHouse”构建实时数仓，虽然查询性能极佳，但ClickHouse集群存储成本高昂，且无法保存超过30天的明细数据。后来引入Iceberg作为统一存储层，ClickHouse仅作为加速查询的前端（通过External Table映射），历史数据全部落入Iceberg。这一改造将存储成本降低了70%，同时保留了全量审计能力。该案例说明，湖仓一体的价值不仅在于“实时”，更在于“统一”——统一存储、统一治理、统一计算，才是架构演进的核心收益。