金融特征平台批流一体实战教程 - 第1节
1.1 金融特征平台的定义
金融特征平台（Feature Platform）是面向金融场景的、统一管理特征定义、特征计算、特征存储与特征服务的工程化平台。它解决了传统机器学习流程中特征重复开发、口径不一致、离在线效果偏差等核心痛点。
核心定义：特征平台是连接原始数据与模型推理之间的标准化特征管理层，提供“一次定义、多处复用、离在线一致”的特征生命周期管理能力。
1.1.1 金融场景对特征平台的独特要求
| 维度 | 通用特征平台 | 金融特征平台 |
|---|---|---|
| 时效性 | 分钟级~小时级 | 毫秒级（风控拦截）、秒级（实时授信） |
| 一致性 | 最终一致 | 强一致（离在线特征值必须完全对齐） |
| 可解释性 | 可选 | 强制（监管要求特征可回溯、可审计） |
| 合规性 | 一般 | 严格（敏感特征脱敏、特征使用授权管理） |
| 特征粒度 | 用户级、物品级 | 用户级、账户级、交易级、设备级、关系网络级 |
1.1.2 金融特征平台的核心能力矩阵
- 特征注册与元数据管理：特征名称、类型、来源、口径、版本、Owner 等元数据统一管理。
- 特征计算引擎：支持批处理（Spark/Hive）与流处理（Flink）两种计算模式。
- 特征存储层：离在线统一存储（如 KV 存储 + OLAP 存储），支持特征快照与时间旅行。
- 特征服务层：高并发低延迟的在线特征获取 API，通常使用 Redis/Tair 作为缓存加速。
- 特征监控与血缘：特征质量监控、数据漂移检测、特征血缘追踪。
1.2 批流一体的核心价值
批流一体（Batch-Stream Integration）是指在同一套特征定义和计算逻辑下，同时支持离线批量计算和实时流式计算，并保证两种计算模式产出的特征值完全一致。
1.2.1 金融场景中的“离在线一致性”难题
在传统架构中，离线特征和实时特征由两套独立的代码和管道生成，经常出现以下问题：
- 特征值不一致：离线训练时使用的“过去30天交易总额”与在线推理时计算的值存在偏差，导致模型效果下降。
- 口径管理混乱：离线用 Hive SQL 计算，在线用 Flink 或 Java 代码计算，口径难以对齐。
- 重复开发成本：同一特征需要开发两套计算逻辑，维护成本翻倍。
典型金融案例：某头部消金公司因离在线特征不一致，导致线上风控模型 AUC 下降 0.08，坏账率上升 15%。排查后发现是离线特征使用了“自然月”窗口，而在线特征使用了“滚动30天”窗口。
1.2.2 批流一体的三大核心价值
| 价值维度 | 说明 | 金融收益 |
|---|---|---|
| 一致性保证 | 同一套特征计算逻辑（SQL/Java）同时用于批和流，消除口径偏差 | 模型 AUC 提升 0.02~0.05，风控决策更稳定 |
| 开发效率提升 | 特征定义一次，自动生成批流两套执行计划 | 特征开发周期从 2 周缩短至 2 天 |
| 运维复杂度降低 | 统一监控、统一血缘、统一元数据管理 | 运维人力减少 60%，故障定位时间缩短 80% |
1.3 课程目标
本课程旨在帮助学员从零到一构建一个生产可用的金融特征平台，核心目标如下：
- 掌握特征平台核心概念：特征定义、特征计算、特征存储、特征服务、特征血缘。
- 精通批流一体技术栈：Flink SQL + Flink DataStream + Spark Batch 的联合使用。
- 实战金融级特征工程：覆盖风控、营销、授信三大场景的典型特征开发。
- 构建离在线一致性体系：通过统一元数据、统一计算逻辑、统一存储实现特征一致性。
- 掌握平台工程化能力：特征监控、特征回滚、特征灰度发布、特征权限管理。
课程产出：完成本课程后，你将拥有一个基于 Flink + Spark + Redis + HBase 的完整金融特征平台原型，可直接用于生产环境二次开发。
1.4 前置知识
为了获得最佳学习体验，建议学员具备以下基础：
| 知识领域 | 具体要求 | 推荐学习资源 |
|---|---|---|
| Java / Python | 熟悉 Java 8+ 语法或 Python 3.8+，了解基本的数据结构和设计模式 | 《Java核心技术》/《Python编程从入门到实践》 |
| SQL | 熟练使用 SQL 进行数据查询、聚合、窗口函数 | LeetCode SQL 题库 / 《SQL必知必会》 |
| 大数据基础 | 了解 Hadoop、Hive、Kafka 的基本概念和使用方式 | 《大数据技术原理与应用》 |
| Flink / Spark | 了解 Flink 或 Spark 的基本编程模型（DataStream/DataSet/DataFrame） | 官方 Quickstart 教程 |
| 金融业务基础 | 了解风控、授信、营销等基本金融业务概念 | 《金融风控入门》 |
1.4.1 环境准备清单
课程实战环节需要以下环境，建议提前准备：
- JDK 8 / 11（推荐使用 JDK 11）
- Maven 3.6+ 或 Gradle 6+
- Docker & Docker Compose（用于快速搭建 Kafka、Redis、HBase 等依赖服务）
- Flink 1.17+ 本地集群或 Standalone 模式
- Spark 3.3+（可选，用于批处理对比实验）
- IDE：IntelliJ IDEA 或 VS Code
快速启动命令：课程提供 docker-compose.yml 一键启动所有依赖服务，无需手动安装大数据组件。
# 克隆课程配套代码仓库
git clone https://github.com/your-org/financial-feature-platform-course.git
# 启动依赖服务（Kafka + Redis + HBase + MySQL）
cd financial-feature-platform-course/docker
docker-compose up -d
# 验证服务状态
docker-compose ps