4. 数据完整性保障：缺失值检测方法、默认值填充策略、必填字段校验规则设计与实现

在风控模型 Serving 阶段，数据完整性是保障推理结果可靠性的第一道防线。缺失值不仅会导致模型计算异常（如 NaN 传播），更可能引发评分偏差或拒绝误判。本章围绕缺失值检测、默认值填充与必填字段校验三个核心环节，提供可落地的工程化方案。

4.1 缺失值检测方法

缺失值检测需覆盖数据到达 Serving 系统的全路径：上游接口、消息队列、特征存储与实时计算节点。检测方法分为静态规则检测与动态分布检测两类。

检测类型	方法名称	适用场景	检测粒度
静态规则	空值/空字符串/NaN/Inf 检查	所有数值型与字符型字段	单字段
静态规则	占位符值检测（如 -999、NULL、None）	上游系统约定特殊值	单字段
静态规则	长度/格式边界检查	定长编码字段、ID 类字段	单字段
动态分布	滑动窗口缺失率监控	批量/流式接入的连续特征	时间窗口 + 字段
动态分布	字段间联合缺失模式检测	强关联特征组（如收入与职业）	多字段组合

4.2 默认值填充策略

默认值填充不是简单的“补零”或“补均值”，而需结合字段语义、模型训练分布与业务容忍度进行分级设计。以下为风控场景下推荐的填充策略矩阵：

字段类型	推荐填充值	填充依据	风险等级
连续型特征（如收入、额度）	训练集该特征的中位数	抗异常值，分布稳定	低
离散型特征（如职业编码）	训练集众数 或 新增“未知”类别	保持类别空间完整	低
比率/分数特征（如负债率）	0 或 训练集下四分位数	避免极端值影响模型	中
时间差特征（如距上次逾期天数）	训练集最大值 + 1 或 固定大数	表示“从未发生”语义	中
模型分数/子模型输出	不填充，直接阻断并告警	避免级联错误	高

4.3 必填字段校验规则设计与实现

必填字段校验是 Serving 数据准入的刚性约束。规则设计需区分“硬必填”与“软必填”，并支持动态调整。

• 硬必填字段： 缺失时直接拒绝推理，返回明确错误码。适用于模型主键、评分核心特征（如征信报告中的逾期次数）。
• 软必填字段： 缺失时允许降级推理（使用默认值），但需记录缺失事件并触发异步补偿流程。

以下为必填字段校验规则的伪代码实现：

class RequiredFieldValidator:
    def __init__(self, hard_required: list, soft_required: list):
        self.hard_required = set(hard_required)
        self.soft_required = set(soft_required)

    def validate(self, feature_dict: dict) -> dict:
        missing_hard = self.hard_required - set(feature_dict.keys())
        missing_soft = self.soft_required - set(feature_dict.keys())

        if missing_hard:
            raise DataIntegrityError(
                code="HARD_MISSING",
                fields=list(missing_hard),
                message=f"硬必填字段缺失: {missing_hard}"
            )

        # 软必填字段记录缺失事件，不阻断
        for field in missing_soft:
            self._log_missing_event(field, feature_dict.get("request_id"))

        return {
            "is_valid": len(missing_hard) == 0,
            "missing_hard": list(missing_hard),
            "missing_soft": list(missing_soft)
        }

4.4 数据完整性保障流程架构

下图展示了从数据接入到模型推理的完整性保障链路，包含检测、填充、校验与告警四个核心阶段。

4.5 必填字段校验规则配置示例

在实际工程中，必填字段规则通常以 YAML 或 JSON 配置形式管理，支持热加载与版本控制。以下为配置示例：

# required_fields_config.yaml
version: "2.1.0"
model: "credit_score_v3"

hard_required:
  - field: "overdue_days_12m"
    reason: "模型主特征，缺失将导致评分不可用"
  - field: "id_card_hash"
    reason: "身份标识，用于关联黑名单"

soft_required:
  - field: "income_level"
    default_value: "unknown"
    fallback_strategy: "众数填充"
  - field: "education_code"
    default_value: 9
    fallback_strategy: "固定值填充"

alert_config:
  soft_missing_threshold: 0.05  # 软必填缺失率超过5%触发告警
  alert_channel: "dingtalk_risk_group"

4.6 缺失值分布监控与自适应填充

对于流式 Serving 场景，缺失模式可能随时间漂移。建议引入滑动窗口监控，当某个字段的缺失率超过动态阈值时，自动切换填充策略或触发人工审核。