1. 课程概述：反欺诈实时评分管道的业务背景、技术选型与学习路径
1.1 业务背景：为什么需要反欺诈实时评分？
在数字支付、在线借贷、电商交易等场景中，欺诈行为正从“单点攻击”演变为“分布式、多账户、AI 辅助”的复杂攻击。传统基于规则或离线批处理的检测方式，往往在欺诈交易完成数小时甚至数天后才能发现，导致资金损失和用户信任度下降。
核心痛点：
- 时效性要求高： 交易必须在毫秒级完成风险判定，否则影响用户体验或导致交易超时。
- 特征维度爆炸： 设备指纹、IP 地理位置、行为序列、社交图谱等特征维度可达数百甚至上千。
- 模型更新频繁： 欺诈模式不断演变，评分模型需要小时级甚至分钟级迭代。
- 数据量巨大： 头部平台每日交易量可达数亿笔，传统数据库无法支撑实时计算。
行业数据： 据 Javelin Strategy 报告，全球在线支付欺诈损失在 2023 年已超过 400 亿美元。采用实时评分系统可将欺诈拦截率从 60% 提升至 95% 以上，同时将误杀率控制在 0.5% 以下。
1.2 技术选型：为什么选择 Spark Streaming + MLlib？
在对比了 Flink、Storm、Kafka Streams 等主流实时计算框架后，本课程选择 Spark Streaming + MLlib 作为核心技术栈，主要基于以下考量：
| 对比维度 | Spark Streaming + MLlib | Flink | Storm |
|---|---|---|---|
| 生态整合 | 与 Spark SQL、MLlib、GraphX 无缝集成，一套代码完成批流一体 | 需额外集成 Flink ML 或外部框架 | ML 能力弱，需自研 |
| ML 模型支持 | MLlib 提供丰富的分类、回归、聚类算法，支持 Pipeline 和模型持久化 | Flink ML 尚在演进中，算法库不如 MLlib 成熟 | 无原生 ML 库 |
| 微批次延迟 | 秒级（典型 1-5 秒），满足大部分反欺诈场景 | 毫秒级（纯流式） | 毫秒级 |
| 容错与 Exactly-Once | 基于 checkpoint 和 WAL，支持 Exactly-Once 语义 | 基于 checkpoint 和 savepoint | At-Least-Once，需额外处理 |
| 社区与人才 | Spark 社区活跃，中文资料丰富，人才储备充足 | 社区增长快，但中文资料相对较少 | 社区已趋于稳定，新项目较少 |
选型建议： 如果你的业务对延迟要求极高（< 100ms），且团队有较强的 Flink 技术储备，可以考虑 Flink。但对于大多数反欺诈场景，Spark Streaming 的秒级延迟和成熟的 MLlib 生态是更务实的选择。
1.3 课程目标
通过本课程，你将掌握以下核心能力：
- 理解反欺诈实时评分系统的架构设计： 从数据采集、特征工程、模型推理到决策输出，构建端到端管道。
- 熟练使用 Spark Streaming 处理实时交易流： 包括 Kafka 集成、窗口操作、状态管理、水印处理。
- 运用 MLlib 构建和部署评分模型： 包括逻辑回归、随机森林、梯度提升树等算法，以及模型在线更新策略。
- 掌握特征工程在实时场景下的优化技巧： 如滑动窗口特征、时间衰减特征、跨事件聚合特征。
- 实现生产级管道： 包括性能调优、监控告警、模型 A/B 测试、灰度发布。
1.4 学习路径与知识图谱
本课程共 30 章，分为 5 个阶段，建议按顺序学习：
1.5 整体架构概览
本课程构建的反欺诈实时评分管道整体架构如下：
1.6 前置知识要求
为了获得最佳学习体验，建议你具备以下基础：
- 编程基础： 熟悉 Scala 或 Python 语法，能阅读和编写简单的数据处理代码。
- Spark 基础： 了解 RDD、DataFrame、Spark SQL 的基本概念和使用方式。
- 机器学习基础： 理解分类、回归、特征工程的基本概念，不要求深入数学推导。
- 消息队列基础： 了解 Kafka 的基本概念（Topic、Partition、Consumer Group）。
⚠️ 注意： 如果你对 Spark 完全零基础，建议先学习《Spark 快速入门》或本课程配套的“前置知识速览”章节（附录 A），再开始本课程的正课学习。