VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI数据数据评估指标设计思路

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

指标设计总纲

为什么需要评估指标？核心原则：SMART、可量化、可对比、可解释，奠定指标体系设计基石。

分类模型评估（上）

准确率、精确率、召回率、F1-Score的数学定义与业务含义，从混淆矩阵到单一指标权衡。

分类模型评估（下）

ROC曲线、AUC值、混淆矩阵深度解读与工程实践，阈值选择与模型对比方法。

回归模型评估

MSE、RMSE、MAE、R²、调整R²的适用场景与局限性，残差分析与尺度依赖问题。

聚类模型评估

轮廓系数、Calinski-Harabasz指数、Davies-Bouldin指数、肘部法则，无监督评估的内在逻辑。

聚类轮廓系数

排序与推荐系统评估

NDCG、MAP、MRR、Hit Rate、覆盖率、多样性，排序质量与推荐生态指标。

时间序列预测评估

MAPE、SMAPE、MASE、时序交叉验证的特殊指标，趋势与季节性的评估挑战。

生成模型评估

Perplexity、BLEU、ROUGE、FID、IS、人工评估体系，文本与图像生成质量度量。

业务指标与模型指标的映射

如何将CTR、CVR、LTV等业务指标拆解为可优化的模型指标，构建业务-技术桥梁。

业务映射CTR

AB测试与统计显著性

P值、置信区间、效应量、统计功效在指标对比中的应用，科学决策的统计基础。

AB测试统计功效

多指标权衡与帕累托前沿

如何平衡精度与召回、延迟与吞吐量、公平性与准确性，帕累托最优与多目标优化。

权衡帕累托

指标的可视化设计

仪表盘设计原则、指标趋势图、分布图、热力图的最佳实践，让数据说话。

可视化仪表盘

数据质量评估指标

完整性、一致性、准确性、时效性、唯一性的量化方法，数据治理的度量基础。

数据质量完整性

特征工程评估指标

特征重要性、互信息、方差阈值、相关性分析的指标设计，筛选有效特征。

特征工程互信息

模型稳定性与鲁棒性评估

PSI、CSI、对抗样本下的准确率衰减、扰动敏感度，监控模型漂移与安全。

公平性评估指标

均等化几率、均等化机会、人口均等、差异影响比的数学定义，算法公平度量。

公平性均等化

可解释性评估指标

LIME/Shapley值的稳定性、特征归因一致性、反事实解释的合理性，评估可解释质量。

可解释性Shapley

成本敏感评估

代价矩阵、最小代价阈值、收益曲线、盈亏平衡点的指标设计，经济视角的模型评估。

成本敏感盈亏平衡

在线学习与强化学习评估

累积奖励、Regret、策略熵、样本效率，动态环境下的学习效果度量。

强化学习Regret

联邦学习评估

通信轮次、模型收敛速度、隐私预算消耗、异构数据下的性能衰减，分布式评估挑战。

联邦学习隐私预算

大规模系统评估

吞吐量、延迟分位数（P50/P95/P99）、资源利用率、扩展性系数，系统级性能度量。

系统评估P99

指标监控与告警设计

基线建立、异常检测方法（3-Sigma、MA、CUSUM）、告警阈值设定，智能运维核心。

指标生命周期管理

指标的定义、审批、发布、废弃、版本管理的流程设计，规范化指标治理。

生命周期版本管理

指标血缘与元数据管理

如何追踪指标的计算来源、依赖关系、数据质量影响，构建可追溯的指标图谱。

血缘元数据

指标仓库与指标平台设计

OneData/OneService理念、指标口径统一、维度建模，企业级指标中台实践。

指标平台OneData

指标驱动决策的文化建设

从数据到洞察、从洞察到行动、从行动到反馈的闭环，打造数据驱动组织。

数据文化决策闭环

案例实战（上）· 电商推荐

电商推荐系统的指标体系设计：CTR、CVR、GMV、用户留存，从业务到指标落地。

案例实战（中）· 金融风控

金融风控模型的指标体系设计：KS、Gini、Lift、Bad Rate，风控评估核心指标。

案例实战（下）· NLP对话系统

NLP对话系统的指标体系设计：意图识别准确率、槽位F1、对话成功率，人机交互评估。

课程总结与未来趋势

AutoML下的自动指标选择、因果推断指标、大模型评估新范式，展望指标设计前沿。

总结大模型

专注课程资料整理