1. 课程导学与风控概述

1.1 实时风控的业务背景

在数字金融、电商交易、社交互动等场景中,欺诈行为正从“单点攻击”演变为“团伙化、工具化、实时化”的对抗。传统离线风控(T+1 规则扫描)已无法拦截秒级发生的盗刷、薅羊毛、虚假注册等风险。实时风控的核心目标是在毫秒到秒级的决策窗口内,完成事件接入、特征计算、模型推理与策略拦截。

关键业务场景:支付交易反欺诈、信贷申请反欺诈、营销活动防刷、账户安全登录、内容社区垃圾过滤。

实时风控系统通常需要处理以下挑战:

  • 高吞吐与低延迟:单日亿级事件,P99 延迟 < 100ms。
  • 复杂特征计算:滑动窗口聚合、多流 Join、历史画像、图关系特征。
  • 模型实时推理:规则引擎 + 机器学习模型(GBDT/DNN)混合决策。
  • 特征回溯与验证:支持离线回测与在线特征一致性校验。

1.2 特征工程在风控中的价值

特征工程是风控系统的“燃料”。原始事件日志(IP、设备、金额、时间)经过特征工程转化为可区分正常与欺诈行为的数值化表达。好的特征能显著提升模型 AUC,降低误杀率。

特征类型 示例 风控价值
统计聚合特征 过去 1 小时同一 IP 交易次数 识别高频攻击 IP
序列行为特征 用户操作间隔的方差 检测机器脚本行为
图关系特征 设备关联用户数 发现团伙欺诈
时间衰减特征 近 5 分钟加权交易金额 突出近期行为权重
交叉组合特征 IP 归属地 + 设备型号 捕捉异常组合模式
行业经验:在风控模型迭代中,特征工程带来的效果提升通常占 60%-80%,远超模型结构优化。实时特征工程的质量直接决定了风控系统的“感知灵敏度”。

1.3 课程整体架构与学习路径

本课程以 Apache Flink 为核心计算引擎,覆盖实时风控特征工程的全链路:从数据接入、特征定义、实时计算、存储服务到线上验证。课程分为四大模块:

  1. 基础篇:Flink 实时计算核心概念、时间语义、状态后端、Checkpoint 机制。
  2. 特征开发篇:滑动窗口聚合、多流 Join、CEP 复杂事件处理、异步 I/O 维表关联。
  3. 生产实践篇:特征血缘管理、特征一致性校验、性能调优、容灾与数据回溯。
  4. 项目实战篇:从零搭建实时风控特征平台,集成规则引擎与模型推理。

学习路径建议:具备 Java/Scala 基础 → 理解 Flink DataStream API → 掌握 SQL/Table API 特征开发 → 深入状态与容错 → 完成实战项目。

实时风控特征工程整体架构 实时风控特征工程整体架构 数据源层 Kafka / Pulsar / 日志 Flink 实时计算层 DataStream / SQL / CEP 特征存储层 Redis / HBase / TiKV 决策引擎层 规则 + 模型推理 特征管理平台 血缘 / 校验 / 回溯 监控告警层 延迟 / 特征分布 / 异常 架构说明 1. 数据源层:实时事件流通过 Kafka/Pulsar 接入,支持乱序与延迟数据。 2. Flink 计算层:核心特征生产单元,支持滑动窗口、多流 Join、CEP 等复杂逻辑。 3. 特征存储层:在线特征服务使用 Redis/HBase 提供毫秒级查询。 4. 决策引擎层:规则引擎 + 模型推理,结合实时特征做出拦截/放行决策。

1.4 课程特色与学习目标

维度 课程特色 学习目标
实战驱动 基于真实风控场景的脱敏数据与业务逻辑 能独立设计实时风控特征 pipeline
性能调优 覆盖状态后端选型、算子链、反压处理 掌握 Flink 生产级调优方法
特征治理 特征血缘、一致性校验、灰度发布 具备特征工程全生命周期管理能力
混合决策 规则引擎 + 模型推理的实时集成 理解实时风控决策系统的完整闭环
前置要求:建议具备 Flink 基础编程经验(DataStream API 或 SQL),了解基本的状态与时间概念。若完全零基础,建议先学习 Flink 快速入门教程。
课程学习路径与模块依赖 课程学习路径与模块依赖 基础篇 Flink 核心概念 特征开发篇 窗口 / Join / CEP 生产实践篇 调优 / 容灾 / 血缘 实战篇 项目落地 学习路径说明 1. 基础篇 → 特征开发篇:先掌握 Flink 时间语义、状态、Checkpoint,再学习窗口聚合与多流 Join。 2. 特征开发篇 → 生产实践篇:完成特征开发后,深入性能调优、数据回溯与特征血缘管理。 3. 生产实践篇 → 实战篇:将所学知识整合到完整的风控特征平台项目中,实现从数据接入到决策的全链路。

1.5 本章小结