一、数据湖概念与演进：从仓库到湖泊的思维转变

大家好，我是这次课程的主讲人。在数据这个行当摸爬滚打了十几年，我亲眼看着数据架构从「小打小闹」变成了「庞然大物」。今天咱们聊的「数据湖」，说白了就是这套架构里最核心的底座之一。

很多刚入行的朋友问我：数据湖不就是个大硬盘吗？嗯，这话对了一半。它确实能存海量数据，但远不止这么简单。咱们从头捋一捋。

1.1 从数据仓库到数据湖：为什么非要「湖」不可？

先说说数据仓库。我2008年刚入行那会儿，数据仓库就是神一样的存在。ETL清洗、建模、分层，一套流程走下来，报表跑得飞起。但后来我发现，这玩意儿有个硬伤——它只认「结构化数据」。

举个例子。我在一家电商公司做项目时，业务方突然说：「我想分析用户评论里的情感倾向。」数据仓库里只有订单表、用户表，评论是纯文本，根本塞不进去。最后我们只能把文本扔到文件服务器上，跟仓库完全割裂。你说难受不难受？

后来大数据技术起来了，Hadoop、Spark这些框架开始流行。大家发现：与其费劲把数据「格式化」后再存，不如先把原始数据一股脑儿存下来，等要用的时候再处理。这就是数据湖的雏形。

我个人的理解是：数据仓库像一座精装修的别墅，每间房干什么用都规划好了；数据湖则像一片待开发的土地，你想盖什么随时可以动工。灵活性完全不在一个量级。

1.2 数据湖的定义与核心特征

数据湖到底是什么？维基百科给的定义很绕，我用自己的话总结一下：数据湖是一个以原始格式存储海量数据的集中式存储系统，支持结构化、半结构化和非结构化数据，并且可以在数据上运行各种分析引擎。

说白了，就是三个关键词：

• 原始格式：数据进来什么样，存进去就什么样，不做任何转换
• 海量：从TB到PB甚至EB级别，传统数据库扛不住
• 多引擎：同一份数据，既能跑SQL，也能跑机器学习，还能做实时流处理

核心特征我归纳为四点，你记一下：

特征	说明	我的经验
Schema-on-Read	读取时才定义数据结构	我曾经在项目中因为「读时模式」踩过坑——数据质量差，读的时候才发现字段对不上。所以后来我建议：虽然不强制写时建模，但至少要做个轻量级校验。
多模态存储	支持文本、图片、视频、日志等	最典型的例子：把服务器日志和业务数据库放一起分析，能发现很多有趣关联。
弹性扩展	存储和计算可以独立扩缩容	我习惯用对象存储（比如S3、OSS）做底座，计算层用Spark或Flink，各管各的。
ACID弱化	不保证强一致性，追求高吞吐	注意：这不是说数据湖不要一致性，而是用最终一致性换性能。金融场景慎用。

1.3 数据湖 vs 数据仓库：一张表说清楚

很多同学纠结：到底该用湖还是用仓？我的建议是：先搞清楚它们到底差在哪。

对比维度	数据仓库	数据湖
数据形态	结构化为主	结构化 + 半结构化 + 非结构化
存储模式	Schema-on-Write	Schema-on-Read
处理范式	ETL（先转换后加载）	ELT（先加载后转换）
数据质量	高（清洗后入库）	低到中（原始数据）
用户群体	业务分析师、报表开发者	数据科学家、数据工程师、分析师
典型技术	Teradata、Greenplum、Snowflake	Hadoop、Spark、Delta Lake、Iceberg
成本	高（存储和计算绑定）	低（廉价对象存储）
适用场景	固定报表、BI分析	探索性分析、机器学习、实时处理

你想想看，如果业务方每天就看那几个固定报表，数据仓库完全够用。但如果他们今天要分析用户行为，明天要训练推荐模型，后天又要做实时风控——数据湖才是正解。

1.4 数据湖的典型应用场景

光说不练假把式。我挑三个自己参与过的真实场景，给你讲讲数据湖到底怎么用。

场景一：日志分析与运维监控

我之前在一家互联网公司，每天产生几十TB的服务器日志。传统做法是存到Elasticsearch里，但成本太高。后来我们建了数据湖：日志直接进对象存储，用Spark做离线分析，用Flink做实时告警。同一份数据，两种用法，成本降了60%。

场景二：机器学习特征工程

做推荐系统时，特征来源五花八门：用户点击日志、商品详情、评本、图片标签。数据湖把这些全收进来，数据科学家可以直接在湖上跑Python脚本提取特征，不用等数仓团队排期。我记得有个模型上线周期从两周缩短到三天。

场景三：数据归档与合规审计

金融行业要求交易数据保存至少5年。全放关系数据库？成本受不了。数据湖提供了分层存储：热数据放SSD，温数据放HDD，冷数据放归档存储。查询时自动路由，用户无感知。我曾经帮一家银行做过这个方案，存储成本直接砍掉70%。

下面这张图，是我自己总结的数据湖核心逻辑框架，你看一眼就明白了：

你看这个框架，从下往上五层：数据源、采集、存储、计算、应用。每一层都可以独立演进。我习惯把存储层叫做「湖体」，计算层叫「引擎」，两者通过元数据层解耦。这样设计的好处是：换引擎不用动数据，换存储不影响计算。