1. 课程导论：金融图谱特征缺失巡检的背景、重要性、课程目标与学习路径
1.1 背景：为什么金融图谱会“缺特征”？
在金融风控、反欺诈、智能营销等场景中，知识图谱已成为连接实体（用户、设备、账户、交易）与关系（担保、转账、登录、同设备）的核心基础设施。然而，金融图谱的构建过程并非完美无缺，特征缺失问题普遍存在，且影响深远。
核心痛点： 金融图谱中，节点属性（如用户收入、设备风险分）或边属性（如交易频次、关系强度）因数据源中断、采集延迟、ETL 异常、字段映射错误等原因，出现大面积空值或异常值，导致下游模型效果骤降。
特征缺失的主要来源包括：
- 数据源不稳定： 外部征信接口超时、内部业务库表结构变更、日志采集 agent 宕机。
- ETL 链路故障： Spark/Flink 任务失败、数据倾斜、字段类型转换异常。
- 图谱更新滞后： 离线批处理窗口过长，实时流处理丢消息，导致特征时效性不足。
- 业务规则变更： 新上线产品未同步图谱特征定义，旧特征被废弃但未清理。
1.2 重要性：缺失巡检是金融图谱的“生命线”
特征缺失巡检不是可选项，而是保障金融图谱数据质量与模型稳定性的必要手段。其重要性体现在以下四个维度：
| 维度 | 缺失风险 | 巡检价值 |
|---|---|---|
| 风控模型 | 特征空值导致模型拒真率上升、通过率异常波动 | 提前发现特征缺失，触发补录或降级策略 |
| 反欺诈 | 关系特征缺失无法识别团伙欺诈、设备关联 | 确保图谱关系密度与属性完整度达标 |
| 监管合规 | 数据质量不满足监管报送要求，面临处罚 | 提供可审计的特征质量报告 |
| 运营效率 | 人工排查缺失原因耗时数天，影响业务决策 | 自动化巡检+告警，分钟级定位问题 |
行业数据： 某头部消费金融公司上线图谱特征巡检后，特征缺失率从 12.7% 降至 1.3%，模型 AUC 提升 4.2 个百分点，每月减少约 80 人时的数据排查工作量。
1.3 课程目标：从“被动救火”到“主动防御”
本课程旨在帮助学员建立一套完整的金融图谱特征缺失巡检体系，实现从“问题出现后人工排查”到“自动化巡检+智能告警+快速修复”的转变。具体目标包括：
- 理解图谱特征缺失的根因与分类： 掌握缺失类型（完全缺失、部分缺失、逻辑缺失）及其对业务的影响。
- 掌握巡检指标体系设计： 学会定义覆盖率、空值率、时效性偏差、分布漂移等核心指标。
- 实现自动化巡检 Pipeline： 使用 Python + Spark/Pandas 构建定时巡检任务，输出质量报告。
- 搭建告警与可视化看板： 基于 Grafana/Streamlit 实时展示特征健康度，支持多级告警。
- 制定缺失修复策略： 针对不同缺失原因，设计补录、降级、默认值填充等修复方案。
1.4 学习路径：从入门到实战的阶梯式设计
本课程共 30 章，分为四个阶段，建议学员按顺序学习，每阶段配套实战练习：
| 阶段 | 章节范围 | 核心内容 | 实战产出 |
|---|---|---|---|
| 基础篇 | 第 1-6 章 | 图谱特征缺失理论、数据质量指标体系、Python 数据质量检查基础 | 特征缺失分类清单、基础空值统计脚本 |
| 进阶篇 | 第 7-15 章 | Spark 大规模图谱巡检、时效性监控、分布漂移检测、异常告警规则 | 分布式巡检 Pipeline、质量报告 DataFrame |
| 实战篇 | 第 16-24 章 | Streamlit 看板搭建、Grafana 告警集成、缺失修复策略实现 | 交互式巡检看板、自动修复脚本 |
| 综合篇 | 第 25-30 章 | 生产环境部署、性能优化、案例复盘、持续改进 | 完整巡检系统上线、运维手册 |
前置要求： 学员需具备 Python 基础（pandas、numpy）、SQL 查询能力，了解知识图谱基本概念（节点、边、属性）。如有 Spark 或 Flink 基础更佳，但非必须。
1.5 课程特色与预期收获
本课程区别于纯理论教程，强调“代码可运行、指标可量化、系统可部署”。每章均提供完整代码示例与测试数据，学员可直接在本地或云端环境复现。
预期收获：
- 掌握 10+ 种特征缺失巡检指标的计算方法与阈值设定。
- 独立搭建基于 Python + Spark 的自动化巡检 Pipeline，处理百万级图谱节点。
- 产出 3 份可直接用于团队汇报的巡检质量报告模板。
- 具备图谱数据质量问题的根因定位与修复能力。