1. 课程导论:反欺诈图谱与PSI漂移监控的背景、课程目标与学习路径
1.1 反欺诈图谱:为什么需要“关系”视角?
传统反欺诈系统主要依赖单点特征(如IP、设备ID、手机号)和规则引擎。然而,黑产团伙通过设备农场、猫池、身份伪造等手段,能够轻松绕过单点检测。反欺诈图谱(Fraud Graph)将实体(用户、设备、手机号、银行卡、地址等)作为节点,将交互行为(注册、登录、交易、转账)作为边,构建大规模关系网络。通过图谱分析,可以识别出团伙欺诈、环状交易、多头借贷等单点特征无法捕捉的复杂模式。
核心洞察: 单点特征只能识别“坏人”,图谱关系能识别“坏团伙”。在金融、电商、社交等领域,超过60%的高危欺诈行为涉及团伙作案。
1.2 PSI漂移:为什么图谱特征会“失效”?
图谱特征(如一度关系数、二度关系密度、社区聚类系数、PageRank值)在模型上线初期表现优异。但随着时间推移,用户行为、业务策略、黑产手法都会发生变化,导致图谱特征的分布发生偏移。群体稳定性指数(PSI,Population Stability Index)是衡量特征分布稳定性的核心指标。
| PSI值范围 | 稳定性等级 | 建议动作 |
|---|---|---|
| PSI < 0.1 | 稳定 | 无需干预 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移 | 触发告警,排查原因 |
| PSI ≥ 0.25 | 严重漂移 | 立即告警,模型需重训或特征需重构 |
常见误区: 很多团队只监控模型分数(Score)的PSI,却忽略了底层图谱特征的PSI。特征漂移是模型失效的前置信号,等到模型分数漂移时,损失往往已经发生。
1.3 课程目标:从监控到告警的完整闭环
本课程旨在帮助学员建立一套完整的反欺诈图谱PSI漂移监控与告警体系,覆盖以下四个核心能力:
- 特征工程层: 掌握图谱特征的提取方法(一度/二度特征、社区特征、时序特征),并理解哪些特征最容易发生漂移。
- 监控计算层: 实现PSI的分布式计算(基于Spark/Flink),支持每日/每小时级别的特征分布对比。
- 告警策略层: 设计多级告警规则(阈值告警、趋势告警、同比告警),并集成到企业微信/钉钉/邮件。
- 根因分析层: 当PSI漂移发生时,快速定位是数据源问题、业务策略变更还是黑产攻击升级。
1.4 学习路径与前置知识
本课程共30章,分为五个模块。建议学员按照以下路径循序渐进:
| 模块 | 章节范围 | 核心内容 | 前置要求 |
|---|---|---|---|
| 基础篇 | 第1-5章 | 图谱理论、PSI数学原理、监控体系设计 | 基础统计学、Python编程 |
| 工程篇 | 第6-12章 | 图谱特征工程、PSI分布式计算、告警系统开发 | Spark/Flink基础、SQL |
| 实战篇 | 第13-20章 | 金融反欺诈图谱案例、电商图谱案例、社交图谱案例 | 完成基础篇和工程篇 |
| 进阶篇 | 第21-26章 | 实时PSI监控、自适应阈值、根因分析算法 | 机器学习基础 |
| 总结篇 | 第27-30章 | 系统架构优化、A/B测试、运维最佳实践 | 全部前置内容 |
学习建议: 每章都配有可运行的代码示例和数据集。建议在本地或云环境搭建一套完整的开发环境(Python 3.8+、Neo4j或NetworkX、Spark 3.0+),边学边练效果最佳。