VIP20

本课程属于：022-数据质量平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时特征质量异常自动处理系统设计与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导论与体系架构

什么是实时特征质量异常、为什么需要自动处理、课程整体技术栈与学习路径。

实时数据流基础

消息队列（Kafka）核心概念、生产者与消费者模型、数据分区与偏移量管理。

特征工程与质量维度

特征定义、质量维度（完整性、准确性、一致性、时效性）、异常分类体系。

特征工程质量维度

异常检测基础理论

统计方法（均值、方差、Z-Score）、基于阈值的方法、滑动窗口与时间序列基础。

实时计算引擎选型

Flink vs Spark Streaming vs Kafka Streams，架构对比与选型策略。

FlinkSpark选型

Flink基础与环境搭建

Flink架构、Standalone与YARN模式部署、第一个Flink作业。

Flink DataStream API

Source、Transformation、Sink，KeyBy与Window操作实战。

Flink CEP（复杂事件处理）

Pattern API、事件序列匹配、超时与组合模式。

CEP模式匹配

特征质量监控指标设计

如何定义监控指标、指标打点与上报、Prometheus + Grafana基础。

监控Prometheus

规则引擎设计与实现

基于Drools的静态规则、动态规则热加载、规则优先级与冲突解决。

规则引擎Drools

机器学习异常检测模型

孤立森林（Isolation Forest）、LOF、AutoEncoder在实时场景的应用。

机器学习异常检测

模型在线服务与部署

TensorFlow Serving、ONNX Runtime、模型版本管理与A/B测试。

模型服务A/B测试

实时特征回填与修复策略

基于历史数据的回填、基于上下游的补偿机制、降级策略设计。

回填修复降级

数据漂移检测

概念漂移（Concept Drift）与数据漂移（Data Drift）、KS检验与PSI指标。

数据漂移KS检验

自动处理Pipeline设计

检测 -> 诊断 -> 决策 -> 修复 -> 验证的闭环流程。

状态管理与Checkpoint

Flink状态后端（RocksDB）、Exactly-Once语义、故障恢复与重试。

状态管理Checkpoint

告警与通知系统

告警分级（P0-P3）、多渠道通知（钉钉、邮件、短信）、告警静默与聚合。

实时数据质量仪表盘

使用Grafana构建实时监控面板、关键指标可视化、下钻分析。

Grafana可视化

案例实战一：电商推荐系统特征质量保障

用户画像特征异常检测与自动修复。

电商推荐系统

案例实战二：金融风控特征质量保障

交易特征时效性监控与数据补全。

金融风控时效性

案例实战三：IoT传感器数据质量保障

多源异构数据一致性校验与清洗。

IoT数据清洗

性能优化与资源调优

Flink算子链、并行度调整、内存管理与反压处理。

性能优化反压

数据血缘与溯源

Atlas与DataHub集成、特征血缘追踪、异常影响范围分析。

数据血缘Atlas

多租户与权限管理

特征质量服务的多租户隔离、RBAC权限模型、审计日志。

混沌工程与稳定性测试

注入特征异常、验证自动处理系统的鲁棒性。

混沌工程稳定性

CI/CD与自动化测试

特征质量规则单元测试、Pipeline集成测试、自动化部署。

CI/CD自动化测试

大规模场景下的架构演进

从单机到分布式、从批处理到流处理、Lambda架构与Kappa架构。

架构演进Lambda

开源生态与工具链

Apache Griffin、Deequ、Great Expectations等工具对比与集成。

开源工具Griffin

项目实战：构建端到端实时特征质量平台

需求分析、架构设计、核心模块实现。

项目实战端到端

课程总结与未来展望

行业趋势、Serverless与AI Native的质量保障、持续学习路径。