VIP20

本课程属于：010-特征工程平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

特征质量监控平台与异常告警建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

特征质量监控概述

为什么需要特征质量监控？特征质量问题的分类（缺失、异常、漂移、延迟），监控体系的整体架构与核心目标。

监控指标体系设计

如何定义特征健康度指标？覆盖率、准确率、时效性、稳定性四大维度的量化方法。

数据源接入与元数据管理

特征数据源的分类（离线/实时），元数据采集与注册，数据血缘关系的建立。

元数据血缘

特征缺失率监控

缺失率的定义与计算方式，滑动窗口统计，阈值设定策略，告警触发机制。

缺失滑动窗口

特征异常值检测（上）

基于统计学的异常检测方法（3-Sigma、IQR、Z-Score），适用场景与优缺点分析。

统计学异常检测

特征异常值检测（下）

基于机器学习的异常检测（孤立森林、LOF），模型训练与部署，实时检测流程。

机器学习实时

特征分布漂移检测

PSI（群体稳定性指标）的计算与解读，KS检验、Chi-Square检验在漂移检测中的应用。

特征延迟监控

特征计算延迟与传输延迟的区分，延迟时间序列分析，SLA违约告警。

特征一致性校验

离线与在线特征值的一致性比对，哈希校验与抽样比对策略，数据回填验证。

一致性校验

特征新鲜度监控

特征版本管理，特征更新时间戳追踪，过期特征自动下线机制。

新鲜度版本

监控数据存储选型

时序数据库（InfluxDB、Prometheus）、关系型数据库、Elasticsearch的选型对比与适用场景。

实时监控管道搭建

基于Flink/Kafka的实时特征流处理，窗口聚合与状态管理，Exactly-Once语义保证。

离线监控管道搭建

基于Spark/MapReduce的批量特征扫描，T+1报表生成，历史趋势分析。

告警系统设计

告警级别定义（P0-P3），多渠道通知（钉钉、邮件、短信），告警静默与升级策略。

监控看板与可视化

Grafana/Superset看板设计，关键指标仪表盘，趋势图与热力图展示。

可视化Grafana

特征质量评分卡

综合多维度指标计算特征健康分，评分权重设计，评分等级划分（A/B/C/D）。

评分健康分

自动化根因分析

异常特征关联分析，维度下钻（时间、分区、模型），根因定位算法（Adtributor）。

监控体系与模型训练联动

特征质量影响模型评估，自动剔除低质量特征，模型重训练触发机制。

联动重训练

特征回滚与补偿机制

特征版本回滚策略，历史数据补偿流程，灰度发布与A/B测试。

大规模特征治理

特征冗余检测，特征重要性排序，低效特征下线流程，特征生命周期管理。

治理生命周期

监控系统高可用设计

多机房部署，数据副本策略，故障转移与容灾恢复，SLA保障。

高可用容灾

监控数据质量保障

监控系统自身的元数据校验，监控数据延迟与丢失检测，监控告警的告警（告警疲劳）。

数据质量告警疲劳

特征质量监控在推荐系统中的应用

推荐特征质量敏感度分析，实时特征回滚对推荐效果的影响，案例分享。

特征质量监控在风控系统中的应用

风控特征时效性要求，异常特征导致的误杀与漏杀，案例分享。

特征质量监控在搜索系统中的应用

搜索特征一致性校验，排序特征漂移检测，案例分享。

监控体系成本优化

特征计算资源消耗监控，冷热特征分离存储，采样监控与全量监控的平衡。

成本冷热分离

监控体系合规与安全

特征数据脱敏监控，访问审计日志，隐私合规检查（GDPR等）。

监控体系运维与迭代

监控规则生命周期管理，监控效果评估（准确率、召回率），规则自动调优。

特征质量监控平台建设实战

从0到1搭建平台的技术选型、架构设计、模块划分、开发流程。

特征质量监控体系未来趋势

AI驱动的智能监控，因果推断在根因分析中的应用，联邦学习下的特征质量监控。