1. 课程导论与项目全景

大家好,我是这门课的主讲。在正式开始之前,我想先聊聊一个很现实的问题:为什么很多数据科学项目,做着做着就烂尾了?

我见过不少团队,拿到数据就急着调模型,结果模型精度挺高,业务部门却说「这玩意儿没法用」。为什么?因为从一开始,大家就没搞清楚「我们要解决什么问题」。

这门课,就是想带你走一遍完整的路——从业务需求分析,到模型上线交付。咱们不搞花架子,每一步都踩实了走。

什么是ML全流程?

说白了,机器学习全流程不是「把数据扔进模型就完事」。它是一个系统工程,包含从业务理解到模型维护的完整链条。

我个人习惯把它拆成六个阶段:

  1. 业务理解:搞清楚业务方到底想要什么
  2. 数据理解:看看手头有什么数据,质量如何
  3. 数据准备:清洗、转换、特征工程
  4. 建模:选算法、调参数、训练
  5. 评估:模型真的能用吗?
  6. 部署:把模型塞进生产环境

你想想看,如果第一步「业务理解」就偏了,后面再努力也是白搭。我在项目中遇到过好几次,业务方说「我要预测用户流失」,结果聊深了才发现,人家真正想要的是「能提前两周识别出高流失风险用户,好让运营去干预」。这两个需求,对应的模型方案完全不同。

为什么需要系统化方法?

很多初学者喜欢跳步。拿到数据直接跑模型,跑出来效果不好就换算法,换来换去还是不行。这叫什么?这叫「碰运气式开发」。

系统化方法能帮你:

  • 减少返工:每一步都有明确的交付物,错了能尽早发现
  • 可复现:三个月后回头看,还能搞清楚当时为什么这么做
  • 可沟通:业务方、开发、测试,大家用同一套语言对话
我曾经踩过的坑: 有个项目,我花了两周做了一个很漂亮的模型,AUC 0.92。结果业务方说:「你这个特征里用了未来数据,线上根本拿不到。」——就因为数据理解阶段没做透,白白浪费两周。从那以后,我再也不敢跳过数据理解这一步。

CRISP-DM框架:行业标准方法论

说到系统化方法,就绕不开 CRISP-DM(Cross-Industry Standard Process for Data Mining)。这是目前业界用得最广的框架,没有之一。

它把项目生命周期画成一个循环,而不是线性流程。为什么是循环?因为做数据项目,你几乎不可能一次走通,总要回头调整。

CRISP-DM 六大阶段:
阶段 核心问题 关键交付物
业务理解 我们要解决什么问题? 项目目标、成功标准
数据理解 数据长什么样? 数据描述报告、质量报告
数据准备 数据怎么加工? 清洗后的数据集、特征列表
建模 用什么算法? 模型候选、参数配置
评估 模型达标了吗? 评估报告、业务验证结果
部署 怎么上线? 部署方案、监控计划

嗯,这里要注意:CRISP-DM 强调阶段之间可以回溯。比如你在数据准备阶段发现数据质量太差,可能需要回到数据理解阶段重新评估。这不是失败,这是正常迭代。

下面这张图,就是 CRISP-DM 的完整流程。我建议你多看几遍,后面每一章都会对应到其中的某个阶段。

CRISP-DM 全流程框架 业务理解 Business Understanding 数据理解 Data Understanding 数据准备 Data Preparation 建模 Modeling 评估 Evaluation 部署 Deployment 虚线箭头表示循环回溯:任何阶段发现问题,都可以回到前置阶段重新调整

本课程案例:电商用户流失预测

光讲理论太枯燥。这门课会用一个真实感很强的案例贯穿始终——电商用户流失预测。

为什么选这个案例?

  • 业务价值明确:留住一个老客户的成本,远低于获取一个新客户
  • 数据好理解:用户行为、订单记录、客服交互,大家都有直观感受
  • 技术覆盖全:从特征工程到模型部署,每个环节都有挑战

我们的目标很具体:构建一个能提前30天预测用户流失风险的模型,准确率不低于85%,并且能输出可解释的流失原因。

一个小建议: 学这门课的时候,你可以把自己想象成这个项目的负责人。每个阶段做决策时,问问自己:「如果业务方现在问我为什么这么做,我能说清楚吗?」——这个习惯,能帮你少走很多弯路。