4. 数据采集层校验：网关日志字段规范、必填字段校验、字段格式校验、缺失值处理策略

数据采集层是风控网关的“第一道防线”。如果原始日志在采集阶段就存在字段缺失、格式错误或规范不统一，后续的样本偏差分析将失去意义。本章聚焦于网关日志在数据采集层的四项核心校验任务，确保进入偏差分析模块的数据是完整、规范且可信的。

4.1 网关日志字段规范

统一的字段规范是数据可用的前提。不同业务线、不同网关节点上报的日志必须遵循同一套字段字典。下表列出了风控网关日志必须包含的核心字段及其规范定义：

4.2 必填字段校验

并非所有字段都是可选的。对于风控决策链路中的关键字段，缺失将直接导致样本偏差计算失真。必填字段校验规则如下：

• 强必填字段：缺失则整条日志标记为无效，不进入偏差分析流程。
  • request_id、timestamp、source_ip、api_path、http_method、response_code
• 条件必填字段：根据业务场景判断，缺失时使用默认值或标记为“未知”。
  • user_id：对于登录态请求为必填，非登录态可为空。
  • device_fingerprint：对于设备风险相关API为必填。
  • risk_level：仅当 response_code 为200时必填。

function validateRequiredFields(log):
    required = ["request_id", "timestamp", "source_ip", "api_path", "http_method", "response_code"]
    for field in required:
        if log[field] is None or log[field] == "":
            return False, f"Missing required field: {field}"
    // 条件必填校验
    if log["response_code"] == 200 and log["risk_level"] is None:
        return False, "Missing risk_level when response_code is 200"
    return True, "OK"

4.3 字段格式校验

字段值即使存在，也可能因格式错误导致解析失败或偏差计算错误。格式校验需要覆盖以下维度：

4.4 缺失值处理策略

经过必填校验和格式校验后，仍可能存在部分字段缺失的情况。缺失值处理策略直接影响样本偏差计算的准确性。以下是推荐的策略矩阵：

具体到每个字段的缺失值处理策略如下：

4.5 数据采集层校验整体流程

将上述四个步骤串联起来，形成数据采集层的完整校验流水线：