3. 决策树基础

在授信决策场景中，决策树是最贴近业务直觉的模型之一。它把“什么人能批、批多少、要不要人工复核”这类判断，拆解成一连串可解释的条件分支。理解决策树，不只是理解一个算法，而是理解一套把复杂授信规则结构化的方法。

一、决策树的定义与结构：节点、分支与路径

决策树是一种基于特征条件进行递归划分的监督学习模型。它由三类基本元素构成：根节点代表全部样本的起点；内部节点代表一次特征判断；叶节点代表最终决策结果。连接节点的分支表示判断条件的取值方向，从根到叶的一条完整路径，就是一条可执行的授信规则。

以授信审批为例，根节点可能是“近12个月逾期次数”，分支为“≤1次”和“>1次”；左分支继续判断“负债收入比”，右分支可能直接进入“拒绝或人工复核”。这种结构天然适合向业务、风控和审计解释：每个客户的决策依据都能被完整回溯。

二、分类树与回归树：任务不同，分裂目标不同

决策树按输出类型分为分类树与回归树。分类树用于预测离散类别，例如“通过/拒绝/人工复核”；回归树用于预测连续数值，例如“建议授信额度”或“预期损失率”。

维度	分类树	回归树
输出类型	离散类别	连续数值
分裂准则	信息增益、基尼系数	均方误差、方差减少
叶节点含义	多数类或类别概率	样本均值或中位数
授信场景	准入、反欺诈、风险分级	额度定价、损失预估
评估指标	准确率、AUC、KS	MAE、RMSE、R²

在授信策略中，分类树常用于“是否通过”的硬规则，回归树则用于“给多少”的软决策。两者可以组合：先用分类树做准入，再用回归树定额度。

三、信息增益与基尼系数：如何选择最佳分裂点

决策树的核心问题是：每一步应该选哪个特征、在哪个阈值上分裂？这需要量化“分裂后纯度提升了多少”。

信息增益基于信息熵。熵越低，样本越纯。信息增益等于分裂前的熵减去分裂后各子集熵的加权和。增益越大，说明该分裂越能区分样本。ID3 算法使用信息增益，但它偏向取值较多的特征。

基尼系数衡量从数据集中随机抽取两个样本、其类别不一致的概率。基尼系数越小，纯度越高。CART 算法使用基尼系数，计算更高效，且对类别不平衡相对稳健。

# 基尼系数计算示例（二分类）
def gini(prob_positive):
    p = prob_positive
    return 1 - p**2 - (1-p)**2

# 若正例占比 0.8
print(gini(0.8))  # 输出 0.32

# 若正例占比 0.5
print(gini(0.5))  # 输出 0.5

在授信场景中，如果“逾期”正例占比 0.8，基尼系数为 0.32；若正例占比 0.5，基尼系数为 0.5。分裂的目标就是让子节点的基尼系数尽可能低。

四、剪枝：防止过拟合的关键控制

决策树如果不加限制，会一直分裂到每个叶节点只有一个样本。这种树在训练集上表现完美，但在新客户上可能完全失效，这就是过拟合。剪枝是控制树复杂度、提升泛化能力的核心手段。

• 预剪枝：在分裂前设置条件，如最大深度、最小样本数、最小信息增益。优点是计算快，缺点是可能欠拟合。
• 后剪枝：先让树充分生长，再自底向上评估是否合并叶节点。优点是泛化好，缺点是计算量大。
• 代价复杂度剪枝：CART 常用方法，通过参数 α 平衡树复杂度与拟合误差。

在授信策略中，剪枝不仅是技术问题，更是业务问题。树太深，规则过多，业务无法执行；树太浅，区分度不足，风险漏放。通常需要结合 KS、AUC 和业务可解释性共同决定。

五、案例复盘：一个授信决策树的诞生

假设某消费信贷产品要构建准入树，候选特征包括：近6个月逾期次数、负债收入比、征信查询次数、年龄、收入稳定性。使用 CART 分类树，目标变量为“是否发生逾期”。

1. 根节点选择“近6个月逾期次数”，因为它的基尼增益最大。
2. 左分支“逾期次数=0”继续按“负债收入比”分裂。
3. 右分支“逾期次数≥1”直接进入高风险叶节点，建议拒绝或人工复核。
4. 设置最大深度为 4，叶节点最小样本数为 200，防止过拟合。
5. 后剪枝后，树从 18 个叶节点压缩到 9 个，验证集 KS 从 0.31 提升到 0.36。

这个案例说明：决策树的价值不在于“无限细分”，而在于用最少的规则抓住最关键的区分点。剪枝后的树更容易被业务理解和执行，也更容易通过合规审查。