1. 课程导论与项目全景
大家好,我是这门课的主讲。在正式开始之前,我想先聊聊一个很现实的问题:为什么很多数据科学项目,做着做着就烂尾了?
我见过不少团队,拿到数据就急着调模型,结果模型精度挺高,业务部门却说「这玩意儿没法用」。为什么?因为从一开始,大家就没搞清楚「我们要解决什么问题」。
这门课,就是想带你走一遍完整的路——从业务需求分析,到模型上线交付。咱们不搞花架子,每一步都踩实了走。
什么是ML全流程?
说白了,机器学习全流程不是「把数据扔进模型就完事」。它是一个系统工程,包含从业务理解到模型维护的完整链条。
我个人习惯把它拆成六个阶段:
- 业务理解:搞清楚业务方到底想要什么
- 数据理解:看看手头有什么数据,质量如何
- 数据准备:清洗、转换、特征工程
- 建模:选算法、调参数、训练
- 评估:模型真的能用吗?
- 部署:把模型塞进生产环境
你想想看,如果第一步「业务理解」就偏了,后面再努力也是白搭。我在项目中遇到过好几次,业务方说「我要预测用户流失」,结果聊深了才发现,人家真正想要的是「能提前两周识别出高流失风险用户,好让运营去干预」。这两个需求,对应的模型方案完全不同。
为什么需要系统化方法?
很多初学者喜欢跳步。拿到数据直接跑模型,跑出来效果不好就换算法,换来换去还是不行。这叫什么?这叫「碰运气式开发」。
系统化方法能帮你:
- 减少返工:每一步都有明确的交付物,错了能尽早发现
- 可复现:三个月后回头看,还能搞清楚当时为什么这么做
- 可沟通:业务方、开发、测试,大家用同一套语言对话
CRISP-DM框架:行业标准方法论
说到系统化方法,就绕不开 CRISP-DM(Cross-Industry Standard Process for Data Mining)。这是目前业界用得最广的框架,没有之一。
它把项目生命周期画成一个循环,而不是线性流程。为什么是循环?因为做数据项目,你几乎不可能一次走通,总要回头调整。
| 阶段 | 核心问题 | 关键交付物 |
|---|---|---|
| 业务理解 | 我们要解决什么问题? | 项目目标、成功标准 |
| 数据理解 | 数据长什么样? | 数据描述报告、质量报告 |
| 数据准备 | 数据怎么加工? | 清洗后的数据集、特征列表 |
| 建模 | 用什么算法? | 模型候选、参数配置 |
| 评估 | 模型达标了吗? | 评估报告、业务验证结果 |
| 部署 | 怎么上线? | 部署方案、监控计划 |
嗯,这里要注意:CRISP-DM 强调阶段之间可以回溯。比如你在数据准备阶段发现数据质量太差,可能需要回到数据理解阶段重新评估。这不是失败,这是正常迭代。
下面这张图,就是 CRISP-DM 的完整流程。我建议你多看几遍,后面每一章都会对应到其中的某个阶段。
本课程案例:电商用户流失预测
光讲理论太枯燥。这门课会用一个真实感很强的案例贯穿始终——电商用户流失预测。
为什么选这个案例?
- 业务价值明确:留住一个老客户的成本,远低于获取一个新客户
- 数据好理解:用户行为、订单记录、客服交互,大家都有直观感受
- 技术覆盖全:从特征工程到模型部署,每个环节都有挑战
我们的目标很具体:构建一个能提前30天预测用户流失风险的模型,准确率不低于85%,并且能输出可解释的流失原因。