VIP20

本课程属于：029-实时风控数据链路 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时风控实时指标聚合与降噪

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

指标聚合基础

什么是指标聚合、为什么需要聚合、聚合的常见场景（监控、BI、实时计算）。

入门核心概念

时间窗口与滑动窗口

固定窗口、滑动窗口、会话窗口的原理与实现。

窗口流处理

聚合函数详解

Count、Sum、Avg、Max、Min、Histogram、Quantile 的实现与选型。

降噪策略总览

什么是数据噪声、噪声来源（延迟、乱序、抖动）、降噪的三大原则。

去重与幂等性

Exactly-Once 语义、去重方案（Bloom Filter、Redis Set、HBase RowKey）。

乱序数据处理

Watermark 机制、Allowed Lateness、Side Output 处理迟到数据。

乱序Watermark

抖动过滤与平滑

Holt-Winters 指数平滑、移动平均线（SMA、EMA）、卡尔曼滤波入门。

异常值检测与剔除

3-Sigma 原则、IQR 箱线图、MAD 中位差。

异常检测统计

数据补全与插值

线性插值、前向填充、后向填充、基于时间序列的预测补全。

采样与降采样

均匀采样、分层采样、时间戳对齐降采样、自适应降采样。

采样降采样

实时计算引擎选型

Flink、Spark Streaming、Kafka Streams、Druid 的对比与选型。

Flink 窗口聚合实战

Tumbling Window、Sliding Window、Session Window 代码示例。

Flink 状态后端与容错

RocksDB、FsStateBackend、Checkpoint 与 Savepoint。

状态后端容错

Kafka Streams 聚合实战

KTable 与 KStream 的 Join、Aggregate、Windowed 操作。

Druid 实时聚合

Druid 架构、Segment、Rollup、Query 优化。

Prometheus 聚合与降噪

Recording Rules、Alerting Rules、Relabeling 实战。

Prometheus监控

指标存储与查询优化

TSDB 选型（InfluxDB、TimescaleDB、ClickHouse）、索引优化。

高基数问题处理

高基数定义、Tag 设计原则、Shard 策略、Druid 的 Cardinality 聚合。

高基数优化

数据质量监控

延迟监控、丢失率监控、重复率监控、Schema 校验。

聚合链路延迟优化

端到端延迟分析、反压处理、异步 I/O、算子链优化。

降噪在生产环境的落地

A/B 测试降噪策略、灰度发布、动态调整参数。

实时仪表盘与告警

Grafana 聚合查询、告警规则设计、告警降噪（抑制、静默、聚合）。

仪表盘告警

多维度聚合

GroupBy 优化、Bitmap 精确去重、HyperLogLog 近似去重。

流式聚合的背压与反压

背压原理、Flink 反压监控、Kafka 消费者 Lag 处理。

数据倾斜处理

Key 倾斜、窗口倾斜、自定义分区器、两阶段聚合。

聚合结果的一致性保证

端到端 Exactly-Once、幂等写入、事务性输出。

一致性Exactly-Once

实时聚合的测试与验证

单元测试、集成测试、Chaos Engineering、数据回放。

资源估算、Spot 实例、动态扩缩容、冷热数据分离。

电商实时 GMV 聚合与降噪、IoT 设备指标聚合、金融风控指标聚合。

流式数仓（Streaming Lakehouse）、AI 辅助降噪、Serverless 聚合引擎。