第2章 核心指标定义方法

准确率、召回率、F1、AUC 是评估 AI 模型最常用的四大核心指标，而业务指标对齐决定了这些技术指标能否转化为可落地的业务价值。本章从定义、口径、维度、看板结构、异常解释、业务动作和复盘分析七个层面，逐一拆解每个指标的设计要点。

2.1 准确率（Accuracy）

2.2 召回率（Recall）

2.3 F1 Score

# F1 Score 计算示例（Python）
from sklearn.metrics import f1_score

y_true = [1, 0, 1, 1, 0, 1]
y_pred = [1, 0, 0, 1, 0, 1]

f1_macro = f1_score(y_true, y_pred, average='macro')
f1_weighted = f1_score(y_true, y_pred, average='weighted')
print(f"Macro-F1: {f1_macro:.4f}, Weighted-F1: {f1_weighted:.4f}")

2.4 AUC（ROC AUC）

2.5 业务指标对齐

技术指标必须映射到业务语言才能驱动决策。下表展示核心指标与典型业务指标的对应关系：

复盘分析要点：

• 联动性： 当准确率上升但召回率下降时，需检查是否模型偏向保守（少判正类），此时 F1 和 AUC 能提供更中立的视角。
• 阈值调优： 在业务指标对齐看板中，设置 AUC 预警线（如 <0.75 触发告警），同时跟踪 F1 最大点对应的阈值是否偏移。
• 异常归因： 若 AUC 突降而各项分布未变，优先排查数据泄露、特征失效或标注错误；若召回率突降，检查正样本定义是否被业务修改。

2.6 看板结构建议

针对四个核心指标与业务对齐，设计三层看板：

• 总览层： 展示 Accuracy、Recall、F1、AUC 的当日值与周趋势，附带业务指标的对齐状态（绿/黄/红）。
• 详细层： 每个指标按维度拆解，如下钻到“用户群体×准确率”热力图，或“时间周期×召回率”折线图。
• 下钻层： 异常样本列表、混淆矩阵、ROC 曲线详情，支持导出日志做根因分析。

# 看板数据聚合示例（伪代码）
dashboard = {
  "overview": {
    "accuracy": 0.92,
    "recall": 0.87,
    "f1": 0.89,
    "auc": 0.94,
    "business_aligned": "green"  # 业务指标对齐状态
  },
  "dimension_breakdown": {
    "by_user_group": {"新用户": 0.90, "老用户": 0.94},
    "by_time_window": {"本周": 0.92, "上周": 0.91, "上月": 0.93}
  },
  "drill_down": {
    "confusion_matrix": [[1200, 80], [100, 620]],
    "roc_auc": 0.94,
    "threshold_scan": [...]  # 不同阈值下的 P/R/F1
  }
}

2.7 异常解释与业务动作

2.8 复盘分析

每次模型迭代或业务变更后，需对四个核心指标进行复盘：

• 指标联动分析： 准确率 vs 召回率的变化是否在 Pareto 前沿上？F1 是否达到预期拐点？AUC 是否有统计显著提升？
• 维度归因： 哪个用户群体或业务场景的指标下降最多？是否可以用维度拆解看板快速定位？
• 业务归因： 技术指标的变化是否真的带来了业务指标改善？是否存在“指标优化但业务不变”的假阳性？
• 动作闭环： 上次复盘制定的阈值调整、样本加权、特征迭代等动作是否已执行？效果如何？

复盘结果应当更新到看板的“复盘日志”区域，形成“指标监控 → 异常告警 → 根因分析 → 动作执行 → 效果评估”的完整闭环。