所属分类：金融 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

模型验证框架与性能监控

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 核心概念 · 整体框架

课程导入学习目标

模型验证的定义 · 目的 · 常见术语（如过拟合

基础知识模型验证的定义

验证框架概述

主流模型验证框架（如scikit-l… · MLflow · Kubeflow

验证框架概述scikit-l

数据划分策略

训练集 · 验证集 · 测试集的划分方法

数据划分策略训练集

评估指标选择

分类 · 回归 · 排序等任务的常用指标（准确率

评估指标选择分类

交叉验证实战

K折 · 分层K折 · 留一法等交叉验证的实现与注意事项

交叉验证实战K折

超参数调优与验证

网格搜索 · 随机搜索 · 贝叶斯优化等调参方法

超参数调优验证

模型比较与选择

使用统计检验（如t检验 · McNemar检验）比较模型性能 · 并选择最佳模型

模型比较选择

置信区间与不确定性

计算模型性能指标的置信区间 · 理解模型预测的不确定性

置信区间不确定性

学习曲线与验证曲线

通过学习曲线诊断偏差/方差问题 · 使用验证曲线调整超参数

学习曲线验证曲线

性能监控基础

监控目标 · 监控指标（延迟 · 吞吐量

性能监控基础监控目标

数据漂移检测

概念漂移 · 协变量漂移 · 标签漂移的定义

数据漂移检测概念漂移

模型漂移检测

模型性能随时间下降的监控方法 · 包括滚动窗口评估 · 在线评估

模型漂移检测模型性能随时间下…

监控框架与工具

Prometheus · Grafana · Evidently

监控框架工具

日志与追踪

模型推理日志记录 · 请求追踪 · 特征存储与特征日志

告警与阈值设置

如何设置合理的告警阈值 · 告警级别 · 告警渠道（邮件

告警阈值设置

模型版本管理与回滚

模型注册表 · 版本控制 · 灰度发布

模型版本管理回滚

A/B测试与在线评估

A/B测试设计 · 显著性检验 · 多臂老虎机

使用scikit-learn构建一个… · 完成交叉验证 · 超参数调优和性能评估

案例实战scikit-learn

使用MLflow跟踪实验 · 注册模型 · 并设置模型监控

案例实战MLflow

使用Evidently检测数据漂移和… · 并生成可视化报告

案例实战Evidently

搭建Prometheus+Grafa…

案例实战Prometheus+G…

过拟合与欠拟合的识别与解决 · 验证集与测试集使用不当的陷阱

常见问题过拟合

数据泄漏的成因与预防 · 包括特征泄漏 · 时间泄漏等

常见问题数据泄漏的成因

监控指标选择不当 · 阈值设置不合理 · 告警疲劳等监控实践中的坑

常见问题监控指标选择不当

构建端到端的模型验证与监控流水线 · 集成CI/CD/CT（持续训练）

综合提升构建端到端的模型…

自动化模型再训练策略 · 基于监控结果触发重训 · 以及模型退役机制

综合提升自动化模型再训练…

多模型管理 · 模型治理 · 合规性要求（如GDPR）下的验证与监…

综合提升多模型管理

LLM模型验证与监控的特殊性 · 包括幻觉检测 · 安全评估

前沿趋势LLM

核心知识回顾 · 最佳实践总结 · 学习路径建议与未来发展方向

课程总结核心知识回顾