VIP20

本课程属于：002-AI产品需求文档PRD与模型卡片编写实战 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

模型评估指标选择与PRD融合策略

📚 共计 30 章节

评估指标全景图

为什么需要评估指标？评估指标在模型生命周期中的位置。

分类任务核心指标（上）

准确率、精确率、召回率、F1-Score的数学定义与直觉理解。

分类任务核心指标（下）

ROC曲线、AUC、PR曲线、对数损失（Log Loss）深度解析。

回归任务核心指标

MAE、MSE、RMSE、R²、调整R²的适用场景与局限性。

聚类任务评估指标

轮廓系数、Calinski-Harabasz指数、Davies-Bouldin指数、内部与外部评估。

聚类无监督

排序与推荐系统指标

NDCG、MAP、MRR、Hit Rate的推导与业务对齐。

时间序列预测指标

MASE、SMAPE、MAPE、时序交叉验证的特殊考量。

NLP任务评估指标

BLEU、ROUGE、METEOR、Perplexity、BERTScore的演进与选择。

CV任务评估指标

mAP、IoU、Dice系数、PSNR、SSIM在目标检测与分割中的应用。

生成模型评估指标

Inception Score、FID、CLIP Score、人工评估与自动化评估的博弈。

业务指标与模型指标的映射

如何将CTR、CVR、LTV等业务指标拆解为可优化的模型指标。

PRD的核心结构、用户故事、验收标准与模型需求的结合点。

从业务目标到评估指标

如何从PRD中提取关键成功指标（KSI）并转化为技术指标。

指标选择的决策树

系统化的指标选择框架，避免“指标膨胀”与“指标误导”。

多目标优化与指标权衡

如何平衡多个指标（如准确率与召回率、延迟与精度）。

指标阈值与业务容忍度

如何根据PRD中的SLA定义模型指标的通过/失败阈值。

离线评估与在线评估的衔接

离线指标如何预测线上效果？A/B测试中的指标设计。

数据分布偏移与指标漂移

监控指标随时间的变化，PRD中如何定义模型回滚条件。

模型可解释性与评估指标

SHAP、LIME如何辅助指标分析，PRD中如何要求可解释性。

公平性与偏见评估指标

群体公平性指标（Demographic Parity、Equal Opportunity）在PRD中的落地。

成本感知评估

如何将计算成本、推理延迟、标注成本纳入评估体系。

PRD中的评估指标文档化

如何撰写清晰、可执行的评估指标章节（含模板）。

案例实战（上）

电商搜索排序场景——从PRD到指标选择的全流程。

案例实战（中）

金融风控模型——不平衡数据下的指标选择与PRD对齐。

风控不平衡

案例实战（下）

医疗影像分割——mAP与Dice的取舍，以及PRD中的临床指标映射。

自动化指标报告

如何搭建指标看板，PRD中如何定义报告频率与责任人。

看板自动化

指标评审会

如何组织跨部门（算法、产品、业务）的指标对齐会议。

常见陷阱与避坑指南

幸存者偏差、数据泄露、指标对抗、过度优化。

AutoML中的指标选择、大模型评估的新挑战、LLM-as-Judge的兴起。

前沿大模型

课程总结与行动清单

从理论到实践的30天行动计划，以及持续学习的资源推荐。