VIP10

本课程属于：014-Zemax优化函数体系 光学光电与激光工程 · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

机器学习模型评价指标与自动评估

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

评价函数基础

什么是评价函数、评价函数在推荐系统中的作用、数学定义与分类。

定义推荐系统

准确率与精确率

准确率(Accuracy)定义与计算、精确率(Precision)实战应用、二者区别与选择场景。

分类基础指标

召回率与F1分数

召回率(Recall)深度解析、F1调和平均原理、Precision-Recall曲线绘制。

ROC曲线与AUC

ROC曲线绘制逻辑、AUC物理意义、ROC与PR曲线对比选择。

均方误差与均方根误差

MSE与RMSE公式推导、回归任务实战应用、异常值对指标的影响。

平均绝对误差与R²

MAE鲁棒性分析、R²决定系数解释方差能力、回归评价指标选择策略。

对数损失函数

LogLoss在分类中的意义、概率校准与LogLoss关系、多分类LogLoss实现。

交叉熵损失

二分类交叉熵、多分类交叉熵、交叉熵与KL散度联系。

交叉熵KL散度

排序评价指标

MRR(平均倒数排名)、MAP(平均精度均值)、NDCG(Normalized Discounted Cumulative Gain)。

NDCG深度实战

NDCG计算步骤、折损因子设计、工业级排序评价实现。

点击率预估评价

CTR预估评价体系、AUC在CTR中的局限性、GAUC(Group AUC)应用。

GAUC与加权AUC

GAUC计算逻辑、用户级别加权AUC、实际案例代码实现。

覆盖率与多样性

推荐系统覆盖率(Coverage)、多样性(Diversity)定义、长尾物品评估。

覆盖率多样性

新颖度与惊喜度

新颖度(Novelty)量化方法、惊喜度(Serendipity)评估挑战、用户满意度关联。

新颖度惊喜度

冷启动评价策略

冷启动场景评价难点、离线与在线评价结合、A/B测试设计要点。

冷启动A/B测试

在线评价指标

A/B测试原理、统计显著性检验、置信区间与效应量。

在线显著性

用户留存与参与度

DAU/MAU与留存率、用户时长与互动深度、业务指标与模型指标对齐。

留存参与度

业务指标转化

从模型指标到业务KPI映射、收入提升与用户满意度平衡、ROI评估案例。

多目标评价

多任务学习评价、帕累托最优与权衡、权重调参与指标融合。

多目标帕累托

评价函数的偏置问题

流行度偏置、位置偏置、曝光偏置的检测与修正。

偏置公平性

无偏评价方法

IPS(Inverse Propensity Scoring)方法、DR(Doubly Robust)估计、实际应用案例。

时间序列评价

时间窗口划分、回溯测试(Backtesting)、时间偏移对评价影响。

时间序列Backtest

离线与在线一致性

离线与在线指标gap分析、仿真环境构建、一致性提升策略。

评价函数代码实战(一)

Python实现Accuracy、Precision、Recall、F1、ROC、AUC。

Python分类指标

评价函数代码实战(二)

Python实现MSE、RMSE、MAE、R²、LogLoss。

评价函数代码实战(三)

Python实现NDCG、MRR、MAP排序指标。

评价函数代码实战(四)

Python实现GAUC、覆盖率、多样性指标。

Python高级指标

评价框架搭建

构建统一评价函数库、配置化评价流程、自动化报告生成。

框架自动化

评价结果可视化

混淆矩阵热力图、PR曲线与ROC曲线绘制、指标对比柱状图。

可视化Matplotlib

综合评价体系设计

从单一指标到多维评价矩阵、评价报告模板、持续监控与迭代优化。