课程导入:学习目标、课程结构、AI DevOps与MLOps的定义与关系
1.1 学习目标与课程定位
在AI工程化落地过程中,团队往往面临两条看似相近却各有侧重的技术路径:一条是服务于传统软件持续交付的DevOps,另一条是面向机器学习模型全生命周期管理的MLOps。本课程的核心目标,是帮助学员建立一套融合视角——既不把MLOps视为DevOps的简单“加模型版”,也不把两者割裂为互不相干的独立体系,而是理解它们在自动化、可观测性、持续反馈等底层理念上的同源性,以及在数据版本、模型实验、特征工程、在线推理等具体实践上的差异性。
完成本章学习后,你将能够:
- 清晰区分DevOps与MLOps的边界与交集,理解为什么AI项目不能直接套用传统DevOps流水线。
- 掌握MLOps核心闭环(数据→训练→评估→部署→监控→反馈)中每个环节的关键挑战。
- 了解本课程30章的结构设计逻辑,明确各模块之间的递进关系。
- 建立“持续交付+持续训练+持续监控”三位一体的融合工程思维。
1.2 课程结构总览
全课程共30章,按工程实践逻辑划分为五个递进模块。每个模块都包含理论讲解、真实案例、可运行代码与常见误区复盘。
| 模块 | 章节范围 | 核心主题 | 关键产出 |
|---|---|---|---|
| 基础与理念 | 第1-5章 | DevOps/MLOps定义、AI工程化挑战、环境搭建 | 融合工程思维框架 |
| 数据与实验 | 第6-12章 | 数据版本管理、特征存储、实验追踪、模型注册 | 可复现的实验流水线 |
| CI/CD与自动化 | 第13-20章 | 模型训练流水线、测试策略、容器化部署、GitOps | 端到端CI/CD流水线 |
| 部署与监控 | 第21-26章 | 在线推理、模型服务、漂移检测、可观测性 | 生产级监控体系 |
| 进阶与治理 | 第27-30章 | 多租户、模型安全、成本优化、组织协作 | 企业级MLOps平台规划 |
课程设计遵循“先建立整体认知,再逐层深入细节”的原则。前5章帮助你搭建思维框架,中间章节聚焦具体工具链(如MLflow、Kubeflow、Airflow、Prometheus等),最后4章回归到组织级落地与治理。每章都配有可运行的示例代码,建议在学习时同步动手实践。
1.3 核心概念:DevOps与MLOps的定义
DevOps(Development & Operations)是一套旨在缩短开发与运维之间距离的实践方法论,强调通过自动化流水线、基础设施即代码(IaC)、持续集成/持续部署(CI/CD)等手段,实现软件交付的高频率与高可靠性。其核心关注点是代码变更从提交到生产环境的速度与稳定性。
MLOps(Machine Learning Operations)则是在DevOps基础上,针对机器学习项目特有复杂性而延伸出的工程实践集合。它不仅管理代码,还管理数据、模型、特征、实验参数等非传统软件制品。MLOps的核心目标是解决ML项目中的三大难题:
- 可复现性:同样的代码+同样的数据+同样的环境,必须产生同样的模型结果。
- 持续评估:模型上线后,其性能会随数据分布变化而衰减,需要持续监控与再训练。
- 模型治理:谁在何时训练了什么模型?用了哪些数据?当前线上跑的是哪个版本?能否回滚?
从定义上可以看出,MLOps并非推翻DevOps,而是在DevOps的自动化骨架之上,增加数据与模型特有的管理维度。一个形象的比喻是:DevOps是“工厂的流水线”,而MLOps是“流水线+质检实验室+原料仓库”的组合体。
上图展示了两个域的关系:DevOps提供基础的自动化与运维能力,MLOps在其上叠加数据、模型、实验等专属管理组件。中间的融合区(AI DevOps)正是本课程的核心关注地带——当企业需要大规模、多团队协作地交付AI能力时,仅靠DevOps或仅靠MLOps都不够,必须将两者打通。
1.4 为什么AI项目不能只靠传统DevOps
很多团队在初期尝试直接用Jenkins或GitLab CI搭建AI流水线,很快会遇到以下典型问题:
具体而言,传统DevOps与MLOps存在以下关键差异:
- 制品类型不同:DevOps的制品是二进制包或容器镜像,内容确定、可哈希校验;MLOps的制品是模型文件+训练数据版本+超参数组合,模型行为无法通过静态检查完全验证。
- 测试策略不同:软件测试可以验证“输入→输出”是否符合预期;模型测试需要评估准确率、召回率、公平性、鲁棒性等指标,且这些指标在训练时表现好不代表线上表现好。
- 部署与回滚不同:软件回滚只需切换版本;模型回滚可能面临数据分布已变化、旧模型不再适用的困境。
- 监控维度不同:DevOps监控CPU、内存、错误率;MLOps还需监控数据漂移、概念漂移、特征重要性变化等。
1.5 融合工程思维:从“交付即结束”到“反馈即开始”
传统DevOps的闭环是“开发→测试→部署→监控→反馈→开发”,而MLOps将这一闭环扩展为“数据准备→特征工程→模型训练→模型评估→模型部署→线上监控→数据反馈→再训练”。在这个扩展闭环中,监控环节不再只是保障系统稳定性的手段,更是驱动模型持续优化的数据来源。
本课程反复强调的融合工程思维可以概括为三个关键转变:
- 从“代码版本管理”到“数据+代码+模型三重版本管理”:每一次模型训练都必须能追溯到精确的数据集版本、代码commit和超参数配置。
- 从“CI/CD”到“CI/CD/CT(Continuous Training)”:不仅代码变更触发流水线,数据更新、性能监控告警也应能触发自动化的再训练流程。
- 从“应用健康检查”到“模型行为健康检查”:除了进程存活、接口延迟等传统指标,还需要监控模型输出的分布变化、特征漂移程度等ML专属信号。