4. 反欺诈数据基础
理赔反欺诈的规则与模型，最终都建立在数据之上。数据基础不牢，再精巧的模型也会退化为“拍脑袋”。本节围绕四个关键问题展开：数据从哪里来、数据是否可信、如何把原始数据变成可建模特征、以及在整个过程中如何守住隐私合规底线。
一、核心原理：反欺诈数据的四层结构
理赔反欺诈数据通常可分为四层：主体层（投保人、被保人、受益人、代理人、医院、维修厂）、行为层（投保、批改、报案、查勘、定损、理赔）、关系层（人-人、人-机构、人-车辆、人-案件之间的关联）、环境层（时间、地点、天气、医疗诊断、事故形态等外部上下文）。欺诈往往不体现在单一字段，而体现在跨层的不一致：例如同一代理人短期内集中投保、同一医院同一诊断高频出现、同一报案人多次在深夜出险。
二、数据来源：内部为主，外部为辅，第三方为补
数据来源决定特征的上限。常见来源包括：
- 核心业务系统：保单、批单、理赔案件、赔付记录、拒赔/注销记录，是反欺诈的主干数据。
- 影像与文本：发票、病历、事故证明、查勘照片、通话录音，需OCR与NLP结构化。
- 外部公共数据：车辆登记、驾驶证、医院资质、法院涉诉、失信名单。
- 第三方风控数据：多头投保、黑名单、设备指纹、IP与地理位置。
- 人工调查反馈：查勘员标注、调查结论、稽核意见，是高质量标签来源。
来源越多，口径越容易冲突。必须建立统一的主键（如证件号哈希、案件号、车辆VIN）和实体解析规则，否则“同一个人”在不同系统里会变成多个主体，关系网络直接断裂。
三、数据质量：反欺诈的隐形门槛
反欺诈对数据质量的敏感度远高于普通分析，因为欺诈信号常藏在少数异常记录中。质量评估至少覆盖六个维度：完整性、准确性、一致性、时效性、唯一性、合法性。下表给出常见问题与处置清单：
| 质量维度 | 典型问题 | 处置动作 |
|---|---|---|
| 完整性 | 关键字段缺失，如诊断编码、事故地点为空 | 缺失率监控，超过阈值触发补录或降权 |
| 准确性 | 金额单位混用、日期格式错误 | 规则校验+抽样人工复核 |
| 一致性 | 同一案件在不同系统状态矛盾 | 建立主数据与状态机对账 |
| 时效性 | 报案后数日才回传查勘数据 | 设定SLA，超时告警 |
| 唯一性 | 同一发票重复上传、同一人多个证件号 | 哈希去重+实体解析 |
| 合法性 | 超范围采集、未授权使用 | 数据源登记与授权链审计 |
四、特征工程：从字段到欺诈信号
特征工程是把业务经验翻译成模型语言的过程。反欺诈特征通常分为四类：
- 统计聚合特征：近90天报案次数、近1年赔付总额、同一代理人名下案件数。
- 时间序列特征：投保至出险间隔、报案至查勘间隔、夜间出险占比。
- 关系网络特征：度中心性、社区发现、共同联系人数量、二度关联案件数。
- 文本与影像特征：病历关键词、发票号码重复、照片EXIF时间与报案时间偏差。
下面是一段特征计算的伪代码示例，展示如何用窗口函数生成“近90天同医院同诊断案件数”：
-- 近90天同医院同诊断案件数
SELECT
c.case_id,
COUNT(*) OVER (
PARTITION BY c.hospital_id, c.diag_code
ORDER BY c.report_date
RANGE BETWEEN INTERVAL '90' DAY PRECEDING AND CURRENT ROW
) AS same_hosp_diag_90d
FROM claim_case c
WHERE c.status IN ('已报案','已立案');特征生成后必须做时间穿越检查：任何特征只能使用标签时点之前的信息，否则离线AUC虚高、上线即失效。同时要做稳定性监控，如PSI超过0.2即触发重训或规则复核。
五、隐私合规：不可逾越的红线
理赔数据包含大量个人敏感信息，合规要点集中在“最小必要、授权明确、脱敏可用、留痕可审”。具体包括：
- 采集端：明确告知用途，取得授权；禁止超范围采集通讯录、位置轨迹等。
- 存储端：证件号、银行卡、病历等字段加密或哈希化，密钥与数据分离。
- 使用端：按角色最小授权，模型训练使用脱敏或差分隐私数据。
- 共享端：与第三方交换数据须签DPA，明确用途、期限与销毁方式。
- 审计端：全链路访问日志留存，支持溯源与合规检查。
六、案例与复盘：一次“数据口径”引发的误判
某公司上线“同一医院同一诊断7天内超过5件即预警”规则，上线首周命中率极高，但复核后发现大量误报。复盘发现：该医院是区域急救中心，夏季中暑诊断集中属于正常现象；同时“7天”窗口按自然日计算，未排除节假日。修正方案：将医院按科室与等级分层，引入“同诊断基线占比”替代绝对数量，并将窗口改为滚动工作日。误报率下降约六成，召回率保持稳定。
这个案例说明：反欺诈数据基础工作不是一次性清洗，而是口径治理、特征迭代与合规审计的持续循环。只有把数据来源、质量、特征与合规四条线同时管住，后续的规则与模型融合决策才有可靠地基。