4. 数据源接入与质量基线：常见风控数据源（征信、三方、内部行为）的特点、质量基线设定原则

风控模型的数据源可归纳为三大类：征信数据、第三方数据与内部行为数据。每类数据在接入时面临不同的质量挑战，必须建立差异化的质量基线。本章将逐一剖析三类数据源的特点，并给出质量基线的设定原则与落地方法。

4.1 三类风控数据源的核心特点

4.2 质量基线设定原则

质量基线不是一成不变的阈值，而是围绕完整性、准确性、一致性、时效性、稳定性五个维度建立的动态标准。以下为通用设定原则：

1. 完整性基线：核心字段缺失率不得超过5%（如征信报告中的“逾期次数”）；非核心字段可放宽至20%。
2. 准确性基线：与权威源（如央行征信）比对，字段级准确率≥98%；衍生变量逻辑校验通过率≥99%。
3. 一致性基线：同一实体在不同数据源中的关键字段（如身份证号、手机号）必须100%可关联；跨源交叉验证通过率≥95%。
4. 时效性基线：征信数据延迟不超过30天；第三方实时接口响应时间≤2秒；内部行为数据T+1可用率≥99.5%。
5. 稳定性基线：日/周/月波动幅度（如字段均值、空值率）不得超过历史均值的±3个标准差；异常波动需触发告警。

4.3 数据源接入质量基线设定流程

下图展示了从数据源接入到基线落地的完整流程：

4.4 三类数据源的质量基线差异化设计

由于数据源特性不同，基线设计必须差异化。以下为三类数据源的质量基线示例：

4.5 质量基线的落地工具与代码示例

在实际工程中，质量基线通常通过数据质量监控平台（如Apache Griffin、Great Expectations）或自研脚本实现。以下是一个基于Python的基线校验示例：

import pandas as pd
import numpy as np

def check_completeness(df, field, threshold=0.05):
    """检查字段完整性：缺失率是否超过阈值"""
    missing_rate = df[field].isnull().mean()
    status = "PASS" if missing_rate <= threshold else "FAIL"
    return {"field": field, "missing_rate": round(missing_rate, 4), "threshold": threshold, "status": status}

def check_stability(series, window=30, sigma=3):
    """检查字段稳定性：最近window天的均值是否超出历史均值±3σ"""
    rolling_mean = series.rolling(window=window).mean()
    global_mean = series.mean()
    global_std = series.std()
    lower_bound = global_mean - sigma * global_std
    upper_bound = global_mean + sigma * global_std
    recent_mean = rolling_mean.iloc[-1]
    status = "PASS" if lower_bound <= recent_mean <= upper_bound else "FAIL"
    return {"recent_mean": round(recent_mean, 4), "lower_bound": round(lower_bound, 4),
            "upper_bound": round(upper_bound, 4), "status": status}

# 示例：对征信数据中的"逾期次数"字段进行完整性校验
df_credit = pd.read_csv("credit_report_sample.csv")
result = check_completeness(df_credit, "overdue_count", threshold=0.03)
print(result)
# 输出示例：{'field': 'overdue_count', 'missing_rate': 0.012, 'threshold': 0.03, 'status': 'PASS'}

4.6 数据源接入质量基线的持续治理

质量基线不是一次性设定，而是需要持续治理的闭环。下图展示了基线治理的PDCA循环：