VIP20

本课程属于：002-AI产品需求文档PRD与模型卡片编写实战 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

模型评估指标在PRD中的正确应用

📚 共计 30 章节

PRD中的指标陷阱

为什么离线指标高，线上效果却很差？

离线vs在线业务对齐

准确率的谎言

当正负样本极度不平衡时，准确率如何欺骗你。

不平衡误导性

精确率与召回率的博弈

如何根据业务场景选择Trade-off。

权衡业务决策

F1分数的局限性

为什么F1不是万能的，以及Macro-F1与Micro-F1的区别。

ROC曲线与AUC

如何评估模型对正负样本的排序能力。

在极度不平衡数据下，为什么PR曲线比ROC曲线更可靠。

不平衡PR vs ROC

不仅仅是TP、FP、TN、FN，如何从混淆矩阵中挖掘更多信息。

诊断细粒度

对数损失（Log Loss）

为什么概率校准比分类正确更重要。

金融风控中常用的区分度指标，如何解读KS值。

风控区分度

从经济学借来的指标，如何评估模型的排序能力。

经济学排序

平均精度（AP）与mAP

目标检测和信息检索中的核心指标。

目标检测检索

排序任务中的黄金标准，如何处理多级相关性。

Top-K推荐场景下，如何设定合理的K值。

覆盖率与新颖度

推荐系统中，除了准确率还要关注什么？

推荐系统多样性

业务指标与模型指标的映射

如何将CTR、CVR等业务指标拆解为模型优化目标。

离线评估与在线评估的差异

为什么A/B测试是最终验证手段。

A/B测试验证

时间序列交叉验证

避免数据泄露，如何正确划分训练集和测试集。

时间序列数据泄露

当模型在不同群体上表现差异巨大时，如何发现并解决偏差。

公平性偏差

成本敏感评估

当不同错误类型的代价不同时，如何定义损失函数。

模型稳定性指标

PSI（群体稳定性指标）和CSI（特征稳定性指标）的监控。

置信度校准

为什么模型说90%概率，实际只有60%准确？如何做校准。

多分类指标

Micro、Macro、Weighted三种平均方式的适用场景。

多分类平均

MSE、MAE、R²、MAPE，什么时候用哪个？

时间序列预测指标

MASE、SMAPE，如何避免季节性影响。

时序季节性

聚类评估指标

轮廓系数、Davies-Bouldin指数、Calinski-Harabasz指数。

聚类内部指标

生成模型评估

FID、IS、BLEU、ROUGE，如何评估生成质量。

可解释性指标

LIME、SHAP值如何量化特征重要性。

公平性指标

Demographic Parity、Equal Opportunity、Equalized Odds。

指标监控体系

如何搭建从模型训练到线上部署的全链路指标看板。

从PRD撰写到模型验收，如何用指标说服业务方和老板。