1. MLOps数据底座概述：定义、核心价值、与传统运维的区别、典型架构

大家好，我是这次课程的主讲。在正式开始之前，我想先聊聊为什么我们要专门花30章来讲「数据底座」这件事。

几年前我带过一个AI项目，模型在实验室跑得飞起，一上线就崩。查了三天，发现不是模型代码的问题——是训练数据和线上数据的特征分布对不上。数据管道断了，特征工程没对齐，监控全是盲区。那次之后我彻底明白了一个道理：没有稳固的数据底座，MLOps就是空中楼阁。

1.1 什么是MLOps数据底座？

说白了，数据底座就是支撑机器学习全生命周期的那套基础设施。它不直接产生模型，但模型离了它寸步难行。

我习惯把数据底座比作「地基」。你想想看，房子盖得再漂亮，地基不稳早晚要塌。MLOps也一样——模型再先进，数据底座不牢，生产环境里全是坑。

1.2 核心价值：为什么我们需要它？

很多团队一开始觉得「数据底座」是个噱头。直到他们踩了这些坑：

• 数据版本混乱：训练用的数据集和生产环境的数据集不是同一份，模型表现天差地别
• 特征不一致：离线特征和在线特征的计算逻辑有偏差，模型推理结果不可信
• 管道断裂无人知：数据源挂了，ETL任务失败，模型还在用三天前的旧数据做预测
• 回溯困难：线上出问题，想复现当时的训练环境，发现数据、代码、配置全对不上

数据底座的核心价值，就是解决上面这些问题。具体来说：

价值维度	说明	我见过的真实案例
可复现性	任何时刻的模型训练都能精确复现	某金融客户用DVC管理数据版本，半年后还能还原出当时的训练集
可追溯性	从模型反查到数据源，链路清晰	一次模型漂移排查，靠元数据追踪找到了上游特征表变更
可靠性	数据管道自动监控，异常实时告警	我们给某电商搭的管道，数据延迟超过5分钟就自动发钉钉
效率提升	特征复用、管道编排、自动化测试	特征平台上线后，算法团队开发效率提升了40%

1.3 与传统运维的区别

这个问题我经常被问到。很多人觉得MLOps运维和传统运维差不多，不就是盯着服务器、看监控吗？

嗯，还真不一样。我列个对比表你就明白了：

对比维度	传统运维	MLOps数据底座运维
核心对象	服务器、网络、中间件	数据集、特征、管道、模型
状态判断	进程是否存活、端口是否通	数据分布是否漂移、特征有效性是否下降
故障类型	宕机、网络中断、磁盘满	数据倾斜、特征缺失、管道死锁、模型退化
恢复手段	重启、扩容、切流	数据回滚、特征重算、管道重跑、模型回退
监控粒度	秒级、分钟级	天级、小时级（数据批次），甚至实时（流式）
自动化程度	较高（脚本化、工具化）	中等（数据血缘、特征验证、管道编排仍需人工介入）

我曾经帮一家公司排查一个「模型效果突然下降」的问题。传统运维看了半天，服务器CPU、内存、网络全正常。最后发现是上游业务表新增了一个字段，ETL脚本没适配，导致特征计算全部偏了。这就是典型的数据底座运维问题——系统没坏，但数据坏了。

1.4 典型架构：一张图看懂

下面这张图是我在实际项目中总结出来的数据底座架构。它分四层，每层都有明确的职责。

这张图我建议你保存下来。后面每一章都会对应到架构中的某个组件。比如：

• 数据源层：对应第3-5章，讲数据接入和源端管理
• 数据管道层：对应第6-12章，讲ETL、流处理、特征工程
• 存储与元数据层：对应第13-18章，讲数据湖、仓库、元数据管理
• 监控与运维层：对应第19-25章，讲质量监控、管道监控、告警

1.5 本章小结

这一章我们聊了数据底座的定义、价值、与传统运维的区别，以及典型架构。核心就三句话：

1. 数据底座是MLOps的根基，没有它，模型上线就是碰运气
2. 数据底座运维和传统运维不一样，关注的是数据本身的质量和一致性
3. 架构分四层：数据源、管道、存储与元数据、监控与运维，层层递进

我记得刚入行时，前辈跟我说过一句话：「做MLOps，七分在数据，三分在模型。」当时不太理解，现在回过头看，真是金玉良言。接下来的29章，我们就一步步把这个数据底座搭起来。