4. 模型卡片的评估维度
好，咱们进入模型卡片最核心的部分——评估维度。说白了，就是你怎么证明你的模型靠谱。
我见过太多团队，模型上线前只丢一个准确率就完事了。结果呢？线上跑起来全是坑。所以我个人习惯，在写模型卡片时，至少覆盖五个维度：准确率、召回率、F1分数、公平性指标、鲁棒性测试。缺一个，我都觉得这卡片不完整。
4.1 准确率（Accuracy）——最基础，也最容易骗人
准确率是大家最熟悉的指标。公式很简单：(TP + TN) / (TP + TN + FP + FN)。但我要泼一盆冷水——准确率高不代表模型好。
我曾经接手过一个医疗影像项目，模型准确率报99.2%，团队高兴得不行。结果一查，阳性样本只占0.8%。模型直接躺平，全部预测为阴性，准确率照样99.2%。你说这模型能用吗？
所以我在模型卡片里，准确率只作为参考指标，从来不会单独放。我会搭配下面这些指标一起看。
4.2 召回率（Recall）与精确率（Precision）——一对冤家
召回率关心的是：正样本里，你抓到了多少？
精确率关心的是：你抓到的里面，有多少是对的？
这两个指标天生就是矛盾的。你想想看，想提高召回率，那就多抓一些样本进来，但误伤（FP）也会变多，精确率就掉了。反过来也一样。
我习惯在模型卡片里这样写：
评估维度 | 指标值 | 说明
---------|--------|------
召回率 | 0.92 | 正样本中92%被正确识别
精确率 | 0.88 | 预测为正的样本中88%是正确的
嗯，这里要注意：一定要说明你是在哪个阈值下算的。不同阈值下，这两个值差别很大。
4.3 F1分数——调和平均，更公平的评价
F1分数是精确率和召回率的调和平均。公式：2 * (P * R) / (P + R)。
为什么用调和平均而不是算术平均？举个例子你就明白了：
- 模型A：精确率0.9，召回率0.1 → 算术平均0.5，F1=0.18
- 模型B：精确率0.5，召回率0.5 → 算术平均0.5，F1=0.50
看到了吗？算术平均看不出问题，但F1分数会狠狠惩罚那个偏科严重的模型。我个人做模型选型时，F1分数是必看的。它不会让你被某个漂亮指标骗了。
4.4 公平性指标——容易被忽视的硬伤
这个维度，说实话，前几年我做得也不够好。直到有一次，一个信贷风控模型上线后，被用户投诉说对某些地区的人群评分偏低。我们一查，果然训练数据里那个地区的样本太少，模型学偏了。
从那以后，我要求每个模型卡片必须包含公平性分析。常用的指标有：
| 指标名称 | 含义 | 理想值 |
|---|---|---|
| 统计均等差异 | 不同群体被预测为正类的概率差异 | 接近0 |
| 均等机会差异 | 不同群体的TPR差异 | 接近0 |
| 均等错误率差异 | 不同群体的FPR差异 | 接近0 |
具体做法：按敏感属性（如性别、年龄段、地区）分组，分别计算上述指标。如果差异超过某个阈值（我一般用0.05），就要标记为风险项。
你想想看，一个模型如果对某个群体明显不公平，上线后带来的舆论风险有多大？所以这块我建议一定要写进模型卡片。
4.5 鲁棒性测试——模型抗不抗揍
鲁棒性测试，说白了就是看模型在「恶劣环境」下还能不能正常工作。我见过太多模型在测试集上表现完美，一上线遇到点噪声就崩了。
我常用的鲁棒性测试包括：
- 输入扰动测试： 给输入数据加一点随机噪声，看输出变化多大
- 对抗样本测试： 故意构造一些「骗」模型的样本，看模型会不会上当
- 缺失值测试： 随机遮挡部分输入特征，看模型还能不能给出合理结果
- 分布偏移测试： 用与训练集分布不同的数据测试，看模型泛化能力
举个例子，我在做一个图像分类模型时，给测试图片加了5%的椒盐噪声，准确率直接从95%掉到了72%。这说明模型对噪声非常敏感，必须做数据增强或者加正则化。
4.6 把这些维度串起来
好了，五个维度都讲完了。我最后给一个模型卡片评估维度的模板，你直接套用就行：
## 模型评估结果
### 核心指标
| 指标 | 值 | 说明 |
|------|-----|------|
| 准确率 | 0.94 | 整体正确率 |
| 召回率 | 0.91 | 正样本召回率 |
| 精确率 | 0.89 | 预测正样本的准确率 |
| F1分数 | 0.90 | 调和平均 |
### 公平性分析
| 群体 | 统计均等差异 | 均等机会差异 | 状态 |
|------|-------------|-------------|------|
| 群体A | 0.02 | 0.01 | ✅ 通过 |
| 群体B | 0.08 | 0.06 | ⚠️ 需关注 |
### 鲁棒性测试
| 测试类型 | 指标变化 | 结论 |
|---------|---------|------|
| 输入扰动(±5%) | F1下降3% | 可接受 |
| 对抗样本 | F1下降15% | 需加固 |
| 缺失值(10%) | F1下降8% | 需优化 |
嗯，这就是我写模型卡片时评估维度的完整思路。记住一点：不要只报喜不报忧。把模型的短板也写清楚，反而能让别人更信任你的专业度。