VIP20
本课程属于：013-MLOps数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

MLOps从数据到模型的全链路管理

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据采集与接入
结构化、半结构化与非结构化数据源；Flume、Logstash、Kafka 采集工具；实时 vs 批量接入策略。
数据源Kafka实时
02
数据存储与分区
数据湖与数据仓库对比；HDFS 与对象存储选型；时间/业务分区策略；Parquet/ORC 列式存储优势。
数据湖分区列式存储
03
数据清洗与预处理
缺失值删除/填充/插值；3σ、IQR 异常检测；标准化与归一化；重复数据去重。
缺失值异常检测归一化
04
特征工程
TF-IDF 文本特征、CNN 图像特征；过滤/包裹/嵌入特征选择；交叉与聚合特征；PCA、t-SNE 降维。
特征提取降维PCA
05
数据标注与质量评估
LabelImg、LabelStudio 选型；标注规范与一致性检验（Kappa）；数据质量监控指标。
标注Kappa质量
06
数据版本管理
DVC、LakeFS 实现版本控制；数据血缘追踪；快照回滚与变更审计。
DVC血缘审计
07
模型训练环境搭建
GPU/NPU 资源管理；Docker 容器化训练；PyTorch DDP、Horovod 分布式框架；MLflow、WandB 实验管理。
Docker分布式MLflow
08
模型架构设计
CNN/RNN/Transformer 选型；Netron 可视化；参数量计算与 FLOPs 复杂度分析。
TransformerNetronFLOPs
09
模型训练与调优
损失函数选择；SGD/Adam/LAMB 优化器；学习率调度；Dropout、BatchNorm 正则化。
优化器学习率正则化
10
模型评估与验证
准确率、召回率、F1、AUC；交叉验证；过/欠拟合诊断；SHAP、LIME 可解释性。
AUC交叉验证SHAP
11
模型压缩与加速
结构化/非结构化剪枝；知识蒸馏；INT8/FP16 量化；ONNX 转换与优化。
剪枝蒸馏ONNX
12
模型部署与推理
TensorFlow Serving / Triton；TensorRT / OpenVINO 推理引擎；A/B 测试与灰度发布。
TritonTensorRT灰度
13
模型监控与告警
延迟/吞吐量监控；PSI、KS 检测数据漂移；模型退化预警与自动回滚。
漂移PSI回滚
14
数据安全与隐私
动态/静态脱敏；差分隐私；联邦学习基础；RBAC/ABAC 权限控制。
脱敏联邦学习RBAC
15
全链路自动化
CI/CD for MLOps；Airflow/Kubeflow 编排；Optuna/Ray Tune 超参搜索；模型注册与版本管理。
MLOpsAirflowOptuna
16
数据质量监控
完整性、时效性、一致性校验；数据质量报告自动生成。
完整性时效性报告
17
特征存储与共享
Feast/Tecton 特征平台；在线特征服务；一致性校验与特征血缘。
Feast特征平台血缘
18
模型训练资源优化
混合精度训练；梯度累积；模型并行与数据并行；Activation Checkpointing 显存优化。
混合精度梯度累积显存
19
模型测试与鲁棒性
对抗样本测试；鲁棒性评估；公平性检测；压力与负载测试。
对抗鲁棒性压力测试
20
模型解释与可解释AI
全局/局部解释；特征重要性排序；决策树替代模型；注意力可视化。
可解释性注意力替代模型
21
数据管道监控
数据延迟与丢失检测；数据倾斜告警；管道健康度评分。
延迟倾斜健康度
22
模型版本管理
元数据管理；依赖追踪；回滚策略；模型对比分析。
元数据回滚对比
23
全链路成本优化
存储、计算、推理成本优化；成本分摊与预算管理。
成本预算优化
24
数据治理与合规
数据分类分级；生命周期管理；审计日志；GDPR/个保法合规。
治理GDPR审计
25
模型持续学习
在线学习框架；增量训练；更新频率控制；灾难性遗忘缓解。
在线学习增量遗忘
26
全链路故障处理
数据延迟、模型崩溃、资源耗尽；诊断流程与自动恢复；故障复盘。
故障恢复复盘
27
多模态数据处理
文本/图像/音频/视频统一处理；特征对齐；多模态模型训练要点。
多模态对齐融合
28
大规模数据处理
Spark/Flink 处理；数据倾斜与采样；分布式预处理。
SparkFlink倾斜
29
模型上线与回滚
上线流程规范；金丝雀发布；蓝绿部署；回滚触发条件与执行。
金丝雀蓝绿回滚
30
全链路管理总结与展望
最佳实践与常见误区；AutoML、LLMOps、Data-Centric AI 未来趋势。
AutoMLLLMOpsData-Centric