01
流水线概述
什么是ML流水线 · 为什么需要多模型流水线 · 流水线 vs 单体模型
基础概念
02
环境准备
Docker基础 · Kubernetes概念 · CI/CD工具选型 (Jenkins/GitLab CI/Argo Workflows)
环境工具
03
模型打包与容器化
使用Docker打包模型 · 模型服务化 (Flask/FastAPI/Triton) · 镜像优化技巧
容器部署
04
数据管道构建
特征工程流水线 · 数据验证 (Great Expectations) · 数据版本控制 (DVC)
数据特征
05
模型训练流水线
分布式训练策略 · 超参调优自动化 (Optuna/Katib) · 实验跟踪 (MLflow)
训练调优
06
模型评估与验证
离线评估指标 · A/B测试框架 · 模型可解释性 (SHAP/LIME)
评估可解释
07
模型部署策略
蓝绿部署 · 金丝雀发布 · 滚动更新 · 影子测试
部署策略
08
推理服务优化
模型量化 (INT8/FP16) · ONNX Runtime · TensorRT · 批处理与缓存
优化推理
09
监控与告警
模型漂移检测 · 数据漂移检测 · 性能监控 (Prometheus/Grafana) · 日志聚合 (ELK)
监控告警
10
多模型编排
模型路由 · 模型版本管理 · 流量分配 · 灰度策略
编排路由
11
CI/CD流水线实战
GitLab CI配置 · Argo Workflows DAG编写 · Jenkins Pipeline脚本
CI/CD自动化
12
特征存储 (Feature Store)
Feast/Rasgo · 特征在线/离线一致性 · 特征服务API
特征存储
13
模型注册中心
MLflow Model Registry · 模型版本控制 · 模型审批流程
注册版本
14
自动化重训练
基于时间/事件/性能触发的重训练 · 数据新鲜度管理 · 训练-部署闭环
重训练闭环
15
安全与合规
模型加密 · 访问控制 (RBAC) · 审计日志 · 数据隐私 (差分隐私)
安全合规
16
边缘部署
模型压缩 (剪枝/蒸馏) · TFLite/ONNX Runtime Mobile · 边缘设备资源限制
边缘压缩
17
多云/混合云部署
Kubernetes多集群管理 · 云原生存储 (S3/MinIO) · 跨区域同步
多云混合云
18
成本优化
Spot实例使用 · 自动扩缩容 (HPA/VPA) · GPU共享与调度
成本扩缩容
19
故障恢复与高可用
多副本部署 · 健康检查 · 自动重启 · 灾难恢复计划
高可用容灾
20
大规模模型服务
模型分片 · 模型并行 · 流水线并行 · 分布式推理
大规模并行
21
实时特征计算
Flink/Kafka Streams · 特征窗口计算 · 特征延迟控制
实时流处理
22
模型A/B测试平台
流量分割 · 实验设计 · 统计显著性检验 · 自动回滚
A/B测试实验
23
模型可观测性
OpenTelemetry集成 · 请求追踪 · 性能剖析 · 瓶颈分析
可观测追踪
24
流水线元数据管理
MLMD (ML Metadata) · 数据血缘 · 模型谱系
元数据血缘
25
联邦学习流水线
联邦训练 · 安全聚合 · 客户端选择 · 通信优化
联邦隐私
26
NLP模型流水线
文本预处理 · 模型微调 (LoRA/QLoRA) · 推理加速 (vLLM)
NLP微调
27
计算机视觉流水线
图像增强 · 模型部署 (TensorFlow Serving) · 视频流处理
CV视频
28
推荐系统流水线
召回-排序-重排 · 特征实时更新 · 模型热加载
推荐召回
29
时序模型流水线
时间序列特征工程 · 模型选择 (Prophet/LSTM) · 预测服务
时序预测
30
综合实战
端到端多模型流水线搭建 · 从数据到部署的全流程 · 最佳实践总结
实战总结