所属分类：综合补充资料 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

AI训练师:模型评估与指标解读实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 评估在AI训练中的核心地位与价值
课程导入学习目标
02
基础概念
模型评估的定义 · 训练集/验证集/测试集划分 · 过拟合与欠拟合的识别
基础概念模型评估的定义
03
评估流程总览
从数据准备 · 模型训练到评估反馈的完整闭环流程
评估流程总览从数据准备
04
分类指标（上）
准确率 · 精确率 · 召回率
分类指标准确率
05
分类指标（下）
ROC曲线 · AUC · PR曲线
分类指标ROC
06
回归指标
MAE · MSE · RMSE
回归指标MAE
07
排序与推荐指标
NDCG · MAP · MRR
排序推荐指标
08
生成模型评估
BLEU · ROUGE · Perplexity
生成模型评估BLEU
09
多分类与多标签评估
宏平均 · 微平均 · 加权平均及多标签指标计算
多分类多标签评估
10
置信度与不确定性
校准曲线 · Brier分数 · 置信区间在模型评估中的作用
置信度不确定性
11
评估工具实战
使用Python（scikit-le… · TensorFlow · PyTorch）实现指标计算
评估工具实战Python
12
可视化评估
绘制混淆矩阵 · ROC曲线 · PR曲线
可视化评估绘制混淆矩阵
13
模型对比与选择
A/B测试 · 统计显著性检验（t检验 · McNemar检验）方法
模型对比选择
14
业务导向的指标设计
如何将业务目标转化为可量化的评估指标
业务导向的指标设…如何将业务目标转…
15
数据不平衡处理
重采样 · 代价敏感学习 · Focal Loss对评估指标的影响
数据不平衡处理重采样
16
时间序列评估
滚动预测 · 时序交叉验证 · MASE
时间序列评估滚动预测
17
聚类评估
轮廓系数 · Calinski-Harabasz指… · Davies-Bouldin指数
聚类评估轮廓系数
18
模型可解释性与评估
SHAP · LIME如何辅助评估模型行为
模型可解释性评估
19
偏差与公平性评估
公平性指标（如均等化几率） · 偏见检测与缓解
偏差公平性评估
20
鲁棒性与压力测试
对抗样本 · 噪声注入 · 分布漂移下的评估方法
鲁棒性压力测试
21
在线评估与监控
模型上线后的实时指标监控 · 漂移检测与告警
线评估监控
22
案例实战（分类）
从真实信贷风控数据出发 · 完成指标计算与模型调优
案例实战分类
23
案例实战（回归）
房价预测模型的评估与特征工程对指标的…
案例实战回归
24
案例实战（推荐）
电商推荐系统离线评估与在线A/B测试…
案例实战推荐
25
案例实战（NLP）
情感分析模型的评估与错误分析
NLP案例实战
26
常见误区与陷阱
数据泄漏 · 指标滥用 · 过拟合评估等典型问题
常见误区陷阱
27
评估报告撰写
如何输出专业 · 可读的评估报告 · 向非技术干系人传达结果
评估报告撰写如何输出专业
28
自动化评估框架
构建可复用的评估流水线 · 集成到CI/CD中
自动化评估框架构建可复用的评估…
29
前沿趋势
大模型评估 · LLM-as-a-Judge · 多模态评估的新挑战
前沿趋势大模型评估
30
综合项目与认证
完成一个端到端评估项目 · 总结知识体系与进阶路径
综合项目认证