2. 坏样本的定义与标注

坏样本的准确定义与高质量标注是风控模型训练的基础。本章从标签定义、标注方法与一致性校验三个层面展开，确保后续模型能够有效识别并归因坏样本。

2.1 坏样本的标签定义

坏样本的标签定义需结合业务场景与模型目标。在信贷风控中，通常以逾期天数作为核心判定标准；在反欺诈场景中，则以确认欺诈行为为准。下表列出常见坏样本标签定义方式：

2.2 人工标注与自动标注

标注方式直接影响样本质量与成本。人工标注精度高但效率低，自动标注速度快但需规则支撑。两者对比如下：

2.2.1 人工标注流程

1. 标注指南编写：明确坏样本判定标准、边界案例处理方式、标注字段格式。
2. 标注人员培训：通过 100-200 条测试样本考核，标注准确率需 ≥ 95%。
3. 标注执行：采用双盲标注（两人独立标注同一批样本）。
4. 争议仲裁：标注不一致的样本由专家仲裁，形成最终标签。

2.2.2 自动标注规则示例

# 自动标注伪代码：信贷坏样本判定
def auto_label(loan_record):
    if loan_record['overdue_days'] >= 30:
        return 1  # 坏样本
    elif loan_record['overdue_days'] >= 15 and loan_record['collection_fail'] == True:
        return 1  # 催收失败且逾期15天以上
    elif loan_record['fraud_flag'] == 1:
        return 1  # 确认欺诈
    else:
        return 0  # 好样本

2.3 标注一致性校验

标注一致性是衡量标注质量的核心指标。常用校验方法包括 Kappa 系数、F1 一致率、交叉验证等。下图展示一致性校验的完整流程：

2.3.1 Kappa 系数计算

Kappa 系数用于衡量两位标注员的一致性，排除随机一致的影响。计算公式如下：

Kappa = (P_o - P_e) / (1 - P_e)

其中：
P_o = 观察一致率（两位标注员标注相同的比例）
P_e = 期望一致率（随机情况下标注一致的概率）

示例：
标注员 A 和 B 对 100 条样本标注，80 条一致。
P_o = 80 / 100 = 0.80
P_e = (好样本比例² + 坏样本比例²) = (0.6² + 0.4²) = 0.36 + 0.16 = 0.52
Kappa = (0.80 - 0.52) / (1 - 0.52) = 0.28 / 0.48 = 0.583

2.3.2 一致性校验报告模板

2.4 坏样本标注的常见陷阱与避坑

• 标签泄漏：使用未来信息（如贷后 90 天数据）标注训练样本，导致模型过拟合。解决方案：严格按时间窗口划分样本。
• 样本选择偏差：只标注被拒绝的样本，忽略通过审批的样本。解决方案：采用拒绝推断技术补充样本。
• 标注漂移：随着时间推移，标注标准发生变化。解决方案：定期回溯校验历史标注，保持标准一致。
• 正负样本失衡：坏样本比例过低（如 < 1%）。解决方案：采用过采样、欠采样或代价敏感学习。