📚 课程目录第1章课程导论

1. 课程导论：信用额度定价的业务背景、流式决策的挑战、Spark与特征服务的核心价值

1.1 信用额度定价的业务背景

在消费金融与信用卡业务中，信用额度定价（Credit Line Pricing）是指金融机构根据客户的信用风险、资金成本、运营成本及目标收益率，动态确定每位客户可获得的授信额度及对应的利率/费率。传统模式下，额度定价通常依赖离线批量计算，更新周期为 T+1 甚至更长，无法响应客户实时行为变化。

随着线上支付、实时信贷、先买后付（BNPL）等场景的爆发，客户在申请提额、临时额度、分期优惠时，期望在秒级内获得个性化定价结果。这要求额度定价系统从“批量计算”向“流式决策”演进。

  核心业务指标：
  决策时效：从事件触发到定价结果返回 ≤ 500ms
特征新鲜度：最近 5 分钟内的交易、行为、外部数据必须纳入计算
定价一致性：同一客户在短时间窗口内多次触发，定价结果应稳定可解释
合规可审计：每次定价决策的输入特征、模型版本、策略规则需完整记录

1.2 流式决策的核心挑战

从传统批量定价迁移到流式决策，技术架构面临以下关键挑战：

挑战维度	传统批量模式	流式决策要求	技术难点
数据延迟	T+1 离线批处理	秒级事件驱动	实时采集、低延迟特征计算
特征管理	静态宽表，特征与模型紧耦合	在线特征服务，特征与模型解耦	特征一致性、版本管理、低延迟获取
计算引擎	MapReduce / Hive	流处理 + 微批处理	Exactly-Once 语义、状态管理、反压处理
模型推理	离线评分，批量输出	在线实时推理	模型热加载、特征对齐、延迟预算分配
运维监控	日级调度监控	秒级延迟监控、数据漂移检测	实时可观测性、告警与自愈

关键洞察：流式决策并非简单地将批处理代码改为流处理 API，而是需要重新设计特征生产、模型服务、策略编排的协作方式。特征服务作为“在线特征中间层”，是连接实时数据与决策模型的桥梁。

1.3 Spark 与特征服务的核心价值

本课程选择 Apache Spark（Structured Streaming + MLlib）与 特征服务平台（Feature Store）作为技术底座，原因如下：

Spark Structured Streaming：提供声明式流处理 API，支持 Event-Time 处理、Watermark、状态管理，天然适配金融场景的 Exactly-Once 语义与回溯计算需求。
特征服务（Feature Store）：统一管理离线/在线特征，保证训练与推理时的特征一致性，支持低延迟（<10ms）特征获取，避免“训练-推理特征偏差”。
集成价值：Spark 负责流式特征计算与模型批量更新，特征服务负责在线特征存储与实时获取，两者结合形成“流式计算 + 在线服务”的闭环架构。

1.4 课程核心知识体系

本课程围绕“流式特征计算 → 特征服务集成 → 实时定价决策”这一主线，分为以下知识模块：

模块	核心内容	技术栈
模块一：基础与架构	流式决策架构设计、特征服务选型、Spark Structured Streaming 核心概念	Spark 3.x, Kafka, Redis
模块二：特征工程流式化	滑动窗口特征、时序特征、多流 Join、特征回溯计算	Spark Structured Streaming, Delta Lake
模块三：特征服务集成	特征注册、在线/离线一致性保障、特征获取 API 设计	Feast / 自建 Feature Store, gRPC
模块四：实时定价模型	模型热加载、特征对齐、定价策略编排、AB 测试	Spark MLlib, ONNX, Python UDF
模块五：生产化与监控	延迟监控、数据漂移检测、容错与恢复、成本优化	Prometheus, Grafana, Spark Metrics

前置要求：学员需具备 Spark 基础编程经验（RDD/DataFrame 操作），了解 Kafka 基本概念，熟悉至少一种特征服务开源项目（如 Feast）的基本原理。本课程不从头讲解 Spark 入门语法。

1.5 本课程适用人群

金融科技架构师：需要设计实时风控/定价系统的技术负责人
大数据/流处理工程师：希望将 Spark 流处理能力应用到金融决策场景
机器学习工程师：关注特征工程在线化、特征服务与模型推理的集成
数据平台开发者：正在建设或选型特征服务平台的技术人员

通过本课程，你将掌握从架构设计到生产部署的完整方法论，能够独立构建基于 Spark 与特征服务的信用额度定价流式决策系统。