Spark与特征服务集成教程：信用额度定价流式决策 - 第1节
1.1 信用额度定价业务背景
信用额度定价是消费金融与信用卡业务的核心环节，直接影响金融机构的盈利能力和风险敞口。传统模式下，额度定价依赖离线跑批，通常以天或周为周期更新，无法捕捉用户实时行为变化。
业务痛点与驱动因素
- 实时性缺失：用户消费、还款、提现等行为发生后，额度调整需等待次日批处理，期间可能产生超额风险或错失营销时机。
- 特征维度单一：传统模型仅依赖月度征信报告、历史还款记录等静态特征，缺乏对用户实时收入、设备指纹、地理位置等动态特征的融合能力。
- 定价粒度粗糙：同一客群使用统一利率和额度，无法实现“一人一价”的精细化风险定价。
行业趋势：头部金融机构已从“事后风控”转向“事中实时干预”，流式决策成为信用额度定价的新范式。
典型业务场景
| 场景 | 触发事件 | 决策时效要求 | 特征来源 |
|---|---|---|---|
| 实时提额 | 用户发起提额申请 | < 500ms | 实时征信、交易流水、设备指纹 |
| 动态利率调整 | 大额消费/分期请求 | < 1s | 用户画像、实时收入估算、LBS |
| 风险预警降额 | 检测到异常交易模式 | < 200ms | 实时行为序列、关联网络 |
| 新客初始定价 | 注册/绑卡完成 | < 2s | 三方数据、设备信息、社交图谱 |
1.2 流式决策与传统批处理的区别
传统批处理架构以 Hive/Spark SQL 离线任务为核心，每日定时产出用户特征和额度定价结果。流式决策则基于 Spark Structured Streaming 或 Flink，在事件到达时立即触发特征计算与模型推理。
核心差异对比
| 维度 | 传统批处理 | 流式决策 |
|---|---|---|
| 数据延迟 | T+1 或小时级 | 毫秒～秒级 |
| 计算模式 | 定时调度（如凌晨 2:00） | 事件驱动、持续计算 |
| 特征时效性 | 快照特征，过期风险高 | 实时特征 + 滑动窗口聚合 |
| 存储模型 | 离线数仓（Hive/Parquet） | 在线特征存储（Redis/HBase） |
| 模型更新 | 全量重训练，部署周期长 | 在线学习 / 模型热更新 |
| 资源消耗 | 高峰集中，资源利用率低 | 弹性伸缩，按需计算 |
| 典型场景 | 月度账单、征信报告更新 | 实时提额、交易拦截、动态定价 |
架构陷阱：直接复用批处理特征逻辑到流式场景，会导致特征穿越（future leakage）和状态不一致。流式特征必须基于事件时间（event time）而非处理时间（processing time）进行窗口计算。
流式决策的技术栈演进
- 第一代：纯批处理 + 规则引擎，无法应对实时场景。
- 第二代：批处理 + 实时规则（如 Drools），特征仍为离线快照。
- 第三代：Lambda 架构（批+流），但维护两套代码成本高。
- 第四代：Kappa 架构 + 统一流处理（Spark/Flink），特征服务与模型推理一体化。
1.3 课程目标与前置知识
课程目标
完成本课程后，学员将能够独立设计并实现一套基于 Spark 与特征服务集成的信用额度定价流式决策系统。具体目标包括：
- 理解业务：掌握信用额度定价的金融风控逻辑与实时决策的业务约束。
- 掌握架构：能够设计 Kappa 架构下的流式特征管道，整合 Spark Structured Streaming 与特征存储。
- 实现集成：使用 Spark 连接 Redis/HBase 在线特征存储，实现毫秒级特征检索与模型推理。
- 优化性能：掌握状态管理、背压处理、特征缓存等流式性能优化技术。
- 生产部署：了解流式决策系统的监控、容错与灰度发布策略。
前置知识要求
| 领域 | 具体要求 | 推荐学习资源 |
|---|---|---|
| Spark 基础 | 熟悉 RDD/DataFrame API、Spark SQL、Spark Streaming 基本概念 | 《Spark 权威指南》第 1-8 章 |
| Scala/Python | 能使用 Scala 或 PySpark 编写数据处理逻辑 | 官方 Spark 快速入门示例 |
| 消息队列 | 了解 Kafka 主题、分区、消费者组概念 | Kafka 官方文档 Quickstart |
| 特征工程 | 理解特征存储、特征生命周期、在线/离线一致性 | Feast / Tecton 官方文档 |
| 风控基础 | 了解信用评分卡、额度定价模型、风险敞口概念 | 《信用风险评分卡研究》 |
学习建议：本课程包含大量实战代码，建议在本地或云环境搭建 Spark 3.4+ 集群，并准备 Kafka 和 Redis 实例用于实验。每章末尾的练习将逐步构建完整的流式决策管道。
课程内容路线图
- 第 1 章：课程导论（本章）—— 业务背景、架构对比、目标与前置知识。
- 第 2-4 章：Spark 流式特征工程 —— 事件时间处理、滑动窗口聚合、特征存储读写。
- 第 5-7 章：特征服务集成 —— Redis/HBase 在线存储、特征缓存策略、特征一致性保障。
- 第 8-10 章：模型推理与定价决策 —— 在线模型加载、实时评分、额度计算逻辑。
- 第 11-12 章：生产化与监控 —— 性能调优、容错机制、灰度发布与 A/B 测试。