VIP20

本课程属于：013-MLOps数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

MLOps训练流水线自动化搭建全流程

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流水线概述

什么是ML训练流水线、为什么需要自动化、流水线 vs 手动训练。

Docker基础、容器化训练环境、GPU驱动与CUDA配置。

Git与DVC基础、数据版本管理、模型版本管理。

YAML/JSON配置文件、超参数管理、环境变量管理。

数据采集与清洗自动化、数据校验与Schema、数据增强流水线。

特征存储(Feature Store)、特征计算流水线、在线/离线特征一致性。

特征Feature Store

PyTorch Lightning/TensorFlow训练模板、分布式训练配置、混合精度训练。

PyTorchTensorFlow

MLflow/WandB集成、实验对比、模型注册。

流水线编排

Airflow/Kubeflow基础、DAG定义、任务依赖管理。

AirflowKubeflow

GitHub Actions/GitLab CI、自动触发训练、代码质量检查。

CI/CDGitHub Actions

Kubernetes基础、Pod/Job配置、自动扩缩容。

监控与告警

训练指标监控、资源利用率监控、异常告警。

自动评估流水线、基准测试、A/B测试框架。

评估A/B测试

模型服务化(Triton/TFServing)、自动部署流水线、灰度发布。

数据漂移检测

数据分布监控、特征漂移告警、自动重训练触发。

Spot实例使用、自动暂停/恢复、资源配额管理。

安全与合规

数据脱敏、访问控制、审计日志。

多团队协作

工作空间隔离、权限管理、流水线复用。

单元测试、集成测试、端到端测试。

自动API文档、流水线可视化、变更日志。

文档可视化

模型回滚、数据回滚、配置回滚。

数据缓存、特征缓存、模型缓存。

数据并行、模型并行、流水线并行。

并行分布式

自动调参框架(Optuna/Ray Tune)、搜索策略、早停机制。

量化、剪枝、蒸馏自动化。

联邦训练流水线、安全聚合、差分隐私。

模型转换(ONNX/TFLite)、边缘设备适配、OTA更新。

备份策略、异地容灾、快速重建。

I/O瓶颈分析、数据加载优化、算子融合。

生产级流水线清单、常见陷阱、未来趋势。