📚 课程目录第4章自定义损失函数

4. 自定义损失函数：设计原则、可微性与实现示例

说句实话，做深度学习这么多年，我最怕听到的一句话就是：“这个任务太特殊了，标准损失函数搞不定。”每次听到这话，我就知道，又得手写损失函数了。你别嫌麻烦，自定义损失函数其实是区分“调参侠”和“炼丹师”的一道分水岭。你想想看，如果你连损失函数都能掌控，那网络训练对你来说还叫个事吗？

4.1 设计原则：别瞎写，先想清楚这三点

自定义损失函数不是拍脑袋写个公式就完事了。我自己踩过很多坑，总结下来，设计时你至少要问自己三个问题。

可微性： 这是硬门槛。深度学习靠梯度反向传播活着，如果你的损失函数在某处不可微，梯度就会炸掉。要么是 NaN，要么根本停在那不动。
与任务对齐： 你的损失函数必须反映你的业务目标。比如做人体姿态估计，你关心的是关节点距离，而不是像素级的误差。我曾见过一个项目用 MSE 去优化一个分类任务，结果模型学成了一团浆糊。
数值稳定性： 这是个大坑。公式看着对，一跑就出现 NaN。通常是因为 log 里出现了 0，或者指数太大了。我建议你在写函数前，先想象一下极端情况下的前向值。我习惯在 torch.clamp 或 torch.where 里加一些保护。

4.2 可微性：别让梯度卡在奇怪的地方

可微性听起来是个数学概念，但说白了就是：你的损失函数对所有参数求导，处处都有定义。我记得有一次，我用了一个带 if x > 0 判断的函数，前向跑得溜溜的，反向传播直接报错 None。为什么？因为 if 不记录计算图。

常见的不可微场景有哪些？

阶梯函数： 比如 torch.sign()，在0处不可导。大多数情况下，你得用 torch.tanh() 或者 torch.sigmoid() 去近似。
非连续操作： 比如用 torch.argmax() 做硬决策。我建议你用 torch.gumbel_softmax() 替代。
数值溢出： 比如 torch.exp(1000)，虽然数学上可微，但计算机里的浮点数撑不住。

避坑提醒： 我曾经在自定义损失函数里写了一个 torch.where(y_pred > 0, torch.log(y_pred), torch.tensor(1e-6))。看着很合理对吧？但反向传播时，log(0) 处的梯度是无穷大，直接导致梯度爆炸。后来我改成 torch.log(torch.clamp(y_pred, min=1e-7))，世界清静了。

4.3 实现示例：从理论到代码

光说不练假把式。我给你一个我自己的实战案例。当时做一个目标检测的回归分支，需要让模型对中等误差惩罚较轻，对大误差严厉惩罚。L2 太狠，L1 又太松。我选择了 Log-Cosh Loss，它在误差较小时接近 L2，误差较大时接近 L1。

公式很简单：log(cosh(x - y))。但在 PyTorch 里写，其实有讲究。

import torch
import torch.nn as nn

class LogCoshLoss(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, y_pred, y_true):
        # 计算差值
        diff = y_pred - y_true
        # 防止数值溢出，使用 clamp
        diff_clamped = torch.clamp(diff, -50.0, 50.0)
        # 核心计算: log(cosh(x))
        loss = torch.log(torch.cosh(diff_clamped))
        # 返回均值
        return loss.mean()

为什么 clamp？ 因为我试过，当 diff 大于 100 时，cosh 会返回无穷大，log 也跟着爆炸。clamp 到 ±50，既保持了曲线形状，又保住了梯度。

另一个常见的场景是 Focal Loss。我最初做图像分类时，正负样本极度不平衡，负样本占了95%以上。交叉熵直接给了一个很低的 loss，模型学成“全部预测为负”。Focal Loss 的思路很简单：对容易样本降权，对难样本提权。

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2.0):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, y_pred, y_true):
        # 使用 BCEWithLogitsLoss 以提高数值稳定性
        bce_loss = nn.functional.binary_cross_entropy_with_logits(
            y_pred, y_true, reduction='none'
        )
        # 计算预测概率
        pt = torch.exp(-bce_loss)
        # Focal Loss 调节因子
        focal_weight = (1 - pt) ** self.gamma
        # 应用 alpha 平衡因子
        loss = self.alpha * focal_weight * bce_loss
        return loss.mean()

记住： 千万别单独用 nn.BCELoss() 配合 torch.sigmoid() 做 Focal Loss。数值上不稳定，梯度容易消失。我试过，调了半天也不收敛。用 BCEWithLogitsLoss 一步到位，它内部帮你做了 log-sum-exp 的数值优化。

4.4 梯度流检查：写完了，跑一下再说

写完之后，我个人的习惯是验证梯度。很多新手跳过了这步，直接喂数据训练，发现 loss 不降或者 NaN，再回头排查，很浪费时间。我建议你在极小数据集上跑一次。

import torch
import torch.nn as nn

# 模拟数据
y_pred = torch.randn(32, 1, requires_grad=True)
y_true = torch.randn(32, 1)

# 实例化自定义损失
criterion = LogCoshLoss()
loss = criterion(y_pred, y_true)

# 反向传播
loss.backward()

# 检查梯度
print(f"Gradient mean: {y_pred.grad.mean().item():.4f}")
print(f"Gradient std:  {y_pred.grad.std().item():.4f}")
print(f"Gradient NaN?  {torch.isnan(y_pred.grad).any().item()}")
print(f"Gradient Inf?  {torch.isinf(y_pred.grad).any().item()}")

我的经验： 如果梯度均值接近 0，说明你的损失函数可能太平了，模型学不动。如果梯度的方差极大，或者出现 NaN/Inf，那基本上是你的公式在某个区间炸了。及时调整 clamp 范围或增加 epsilon 保护。

4.5 损失函数对比与选择速查

为了让你看得更明白，我把常用自定义损失函数整理成一个表格。你可以根据任务特点快速选择。

损失函数	适用场景	对异常值敏感度	数值稳定性
Huber Loss	回归任务，存在异常值	中等	高
Log-Cosh Loss	需要平滑梯度的回归	中等偏低	需做 clamp 保护
Focal Loss	类别极度不平衡	低	高（配合 BCEWithLogits）
Dice Loss	语义分割，小目标	低	中（需加 smooth）
Contrastive Loss	度量学习，人脸识别	高	中（需 margins 调参）

你看，自定义损失函数其实没那么玄乎。关键是：明确目标 → 选择可微的形式 → 加数值保护 → 验证梯度。只要走完这一套流程，你写的损失函数就不会动不动炸了。说白了，这就是个工程问题，咱们工程师就得有点工匠精神，把每一步都算清楚。