VIP20

本课程属于：013-MLOps数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

MLOps实验追踪 · 让每个训练有据可查

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实验追踪概述

为什么需要实验追踪，核心概念（实验、运行、指标、参数、工件），主流工具对比：MLflow、W&B、Neptune、TensorBoard。

环境搭建与工具选型

Python虚拟环境搭建，安装MLflow、Weights & Biases，配置本地与远程存储后端。

MLflow基础入门

MLflow Tracking核心API：log_param、log_metric、set_tag、log_artifact，快速上手记录。

MLflow实战：自动记录与嵌套

autolog自动记录，嵌套运行与父子运行管理，搜索查询实验。

MLflow进阶：模型注册与部署

Model Registry、模型版本管理、阶段转换（Staging/Production/Archived），部署与推理。

Weights & Biases入门

W&B核心概念：Project、Run、Artifact、Sweep，初始化项目，记录超参数与指标，仪表盘。

Weights & Biases实战

自定义图表、表格记录、数据集版本管理（Artifacts）、报告生成。

实验对比与分析

多实验对比、指标聚合与统计、超参数重要性分析、并行坐标图解读。

超参数优化

手动/网格/随机搜索、贝叶斯优化、W&B Sweeps配置。

分布式训练追踪

多GPU/多节点日志同步，分布式运行命名规范，聚合与分片指标。

分布式同步

数据版本控制

DVC基础、数据集快照、数据管道、与MLflow集成。

代码版本与实验关联

Git Commit绑定、代码快照、环境快照（conda/env.yml），可复现性保证。

实验元数据管理

自定义元数据、实验描述、运行标签、状态管理（Scheduled/Running/Failed/Finished）。

元数据状态

可视化最佳实践

损失曲线、学习率曲线、混淆矩阵、PR/ROC曲线、特征重要性图。

可视化曲线

告警与监控

指标阈值告警、运行失败告警、资源监控（CPU/GPU/内存）、Slack/邮件通知。

共享项目、权限管理、注释与评论、团队仪表盘、实验审批流程。

固定随机种子、完整环境记录、一键复现脚本、Docker容器化实验。

模型比较与选择

多模型指标对比表、统计显著性检验、模型选择决策树、最佳模型自动选择。

实验报告自动化

自动生成Markdown/HTML报告，指标摘要表，图表自动嵌入。

报告自动化

GitHub Actions触发实验、自动训练流水线、模型评估与自动部署Staging。

实验存储后端

本地文件系统、SQLite、MySQL、PostgreSQL、S3/GCS/MinIO云存储。

大规模实验管理

实验分组、批量操作、归档、清理策略、存储成本优化。

大规模管理

实验安全与合规

数据脱敏、访问控制、审计日志、GDPR合规、模型溯源。

MLflow与Kubeflow集成

Kubeflow Pipelines、组件化实验、端到端ML工作流、元数据同步。

NLP项目实验追踪

文本分类、序列标注、预训练模型微调追踪、分词与指标记录。

CV项目实验追踪

图像分类、目标检测、分割实验、数据增强追踪。

推荐系统实验追踪

召回实验、排序实验、多目标优化、A/B测试指标追踪。

强化学习实验追踪

环境配置追踪、奖励曲线记录、策略网络版本管理、多智能体实验。

强化学习策略

实验追踪平台搭建

自建平台架构设计、API设计、前端仪表盘开发、与现有工具集成。

总结与最佳实践

实验追踪规范、团队SOP、常见陷阱与解决方案、MLOps 2.0趋势。

最佳实践MLOps