2、标签与校准基础概念
2.1 标签的定义
在收益评估场景中，标签是对样本真实状态或结果的一种离散化标注。它通常由人工或自动化规则赋予，用于表示“好”或“坏”、“达标”或“未达标”等二元或多分类结果。标签是监督学习模型训练与评估的核心依据，其质量直接决定模型的上限。
收益评估场景中的典型标签示例：
- 逾期标签：客户在还款日之后是否逾期超过30天（1=逾期，0=正常）。
- 收益达标标签：产品年化收益率是否达到预期基准（1=达标，0=未达标）。
- 流失标签：客户在观察期内是否停止使用核心服务（1=流失，0=留存）。
2.2 标签噪声来源
标签噪声是指标注值与真实状态之间的偏差。在收益评估场景中，噪声主要来源于以下四个维度：
| 噪声类型 | 来源描述 | 收益评估场景示例 |
|---|---|---|
| 标注错误 | 人工标注时的主观误判或操作失误 | 审核员将“正常还款”误标为“逾期” |
| 规则冲突 | 多条自动化规则对同一样本给出矛盾标签 | 风控规则判定“高风险”，收益规则判定“高收益” |
| 时间漂移 | 标注时点与真实状态发生时间不一致 | 用T月的收益数据标注T-3月的客户行为 |
| 样本选择偏差 | 标注样本不能代表目标总体分布 | 仅对“已结清”客户标注，忽略“在贷”客户 |
实践建议：在收益评估项目中，建议在标签生成后立即执行一次“噪声扫描”——统计各标签类别的分布比例、检查时间戳对齐情况、随机抽取5%样本进行人工复核。这能提前发现80%以上的系统性噪声。
2.3 校准的定义与目标
校准（Calibration）是指调整模型输出的预测概率，使其能够真实反映事件发生的实际频率。一个完美校准的模型意味着：当模型预测概率为0.7时，该事件在真实世界中发生的比例也恰好是70%。
校准的核心目标包括：
- 概率真实性：消除模型输出的系统性偏差，使预测概率与真实频率一致。
- 决策可靠性：为业务决策（如是否放贷、是否调整利率）提供可信的概率依据。
- 跨群体公平性：确保校准效果在不同客户群体（如不同收入层级、不同地区）之间保持一致。
2.4 校准与模型性能的关系
校准与模型性能（如准确率、AUC）是两个独立但互补的维度。一个模型可以拥有很高的判别能力（AUC高），但概率输出严重失真；反之，一个校准良好的模型也可能判别能力平庸。理解二者的关系，是进行有效校准实践的前提。
常见误区：很多团队认为“模型AUC达到0.9就代表预测概率可信”。实际上，AUC只衡量排序能力，不保证概率真实性。一个AUC=0.9的模型，其预测概率可能整体偏移0.2甚至更多，直接用于收益决策将导致系统性误判。
下表总结了校准与模型性能在四个关键维度上的对比：
| 维度 | 模型性能（Discrimination） | 校准（Calibration） |
|---|---|---|
| 关注点 | 能否正确区分正负样本 | 预测概率是否等于真实频率 |
| 常用指标 | AUC、KS、准确率、F1-score | Brier Score、ECE、可靠性图 |
| 优化方向 | 特征工程、模型结构、损失函数 | Platt缩放、等温回归、贝叶斯校正 |
| 业务影响 | 排序准确性（如风险排名） | 决策阈值可靠性（如利率定价） |
在收益评估场景中，校准与性能的协同关系可以通过以下流程体现：
最佳实践：在收益评估项目中，建议先以AUC/KS为目标训练模型至性能饱和，然后立即执行校准评估。若Brier Score高于0.2或可靠性图出现明显S形偏差，则启动校准优化。校准完成后，需在验证集上同时确认性能指标未显著下降，方可进入业务部署。