1. 课程导论：贷后预警业务背景、Spark Streaming 技术优势、课程目标与学习路径
1.1 贷后预警业务背景
在信贷全生命周期中，贷后管理是风险控制的关键环节。贷后预警旨在通过持续监控借款人的行为数据、还款表现及外部征信信息，在风险暴露早期发现逾期、失联、多头借贷等信号，从而触发干预措施，降低不良贷款率。
核心痛点：传统贷后预警依赖 T+1 批量跑批，数据延迟高，无法在客户还款日当天或资金异常流出时实时捕捉风险。随着消费金融、小微贷款业务量激增，实时处理能力成为风控基础设施的刚需。
贷后预警的典型数据源与处理时效要求如下表所示：
| 数据源类型 | 典型字段 | 传统处理时效 | 实时处理需求 |
|---|---|---|---|
| 还款流水 | 还款金额、还款时间、渠道 | T+1 日终跑批 | 秒级判断是否逾期 |
| 交易行为 | 大额消费、频繁转账、夜间交易 | 次日分析 | 分钟级触发异常交易预警 |
| 设备与位置 | 设备指纹、GPS 轨迹、IP 变更 | 离线关联 | 实时识别设备聚集或异地登录 |
| 外部征信 | 多头借贷查询、法院执行、黑名单 | 每日批量更新 | 事件驱动实时回调 |
1.2 Spark Streaming 技术优势
在贷后预警场景中，选择 Spark Streaming 作为实时计算引擎，主要基于以下技术优势：
- 高吞吐与低延迟：基于微批处理架构，可在秒级窗口内处理数万条/秒的事件流，满足贷后预警对时效性的要求。
- Exactly-Once 语义：结合 Kafka 偏移量管理，保证每条数据在故障恢复后只处理一次，避免重复预警或漏报。
- 丰富的算子与 MLlib 集成：可直接在 DStream 或 Structured Streaming 上应用滑动窗口、状态管理、机器学习模型，实现复杂规则与评分卡融合。
- 与 Hadoop/Spark 生态无缝集成：贷后预警常需关联历史宽表（Hive）、实时特征（Redis）、模型文件（HDFS），Spark Streaming 天然支持这些数据源。
选型建议：对于贷后预警场景，推荐使用 Structured Streaming（Spark 2.x/3.x），其 Event-Time 处理、水印机制、流表关联能力比 DStream API 更适合金融级实时风控。
下表对比了 Spark Streaming 与其他常见实时计算框架在贷后预警关键维度上的差异：
| 对比维度 | Spark Streaming | Flink | Storm |
|---|---|---|---|
| 处理模型 | 微批（Micro-Batch） | 真流（True Streaming） | 逐条处理 |
| 延迟水平 | 秒级（典型 1-10s） | 毫秒级 | 毫秒级 |
| 吞吐能力 | 极高（适合批量聚合） | 高 | 中等 |
| 状态管理 | 支持（mapGroupsWithState） | 原生强状态管理 | 需外部存储 |
| 与 Spark 生态集成 | 原生（共享 SQL/MLlib） | 需额外适配 | 较弱 |
| 贷后预警适用性 | ★★★★★ | ★★★★☆ | ★★★☆☆ |
1.3 课程目标与学习路径
本课程旨在帮助学员掌握使用 Spark Streaming 构建贷后预警系统的完整技能栈，从理论到实战，覆盖以下核心目标：
- 理解贷后预警业务逻辑：掌握逾期定义、预警规则设计、风险等级划分等业务知识。
- 精通 Spark Streaming 核心 API：包括 DStream、Structured Streaming、窗口操作、状态管理、流表关联。
- 实战贷后预警系统：从数据接入、规则引擎、模型集成到预警推送，完成端到端项目。
- 掌握性能调优与运维：包括并行度优化、背压机制、checkpoint 管理、监控告警。
前置要求：学员需具备 Scala 或 Python 基础，了解 Spark Core 基本概念（RDD、DataFrame、Action/Transformation），熟悉 Kafka 基础操作。建议先完成《Spark 基础入门》课程。
课程学习路径分为五个阶段，建议按顺序推进：
| 阶段 | 章节范围 | 核心内容 | 预计时长 |
|---|---|---|---|
| 第一阶段：基础夯实 | 第 1-5 章 | 贷后预警业务、Spark Streaming 原理、环境搭建 | 2 天 |
| 第二阶段：核心开发 | 第 6-15 章 | DStream/Structured Streaming API、窗口与状态、Kafka 集成 | 5 天 |
| 第三阶段：规则与模型 | 第 16-22 章 | 预警规则引擎、MLlib 实时评分、特征工程 | 4 天 |
| 第四阶段：系统实战 | 第 23-27 章 | 贷后预警系统完整实现、测试与部署 | 5 天 |
| 第五阶段：调优与运维 | 第 28-30 章 | 性能调优、监控告警、生产环境最佳实践 | 2 天 |
每章均配有代码示例、数据模拟脚本和课后练习，学员可在本地或云环境（如 Databricks Community）复现。课程结束后，学员将具备独立设计并实现生产级贷后预警系统的能力。