VIP20

本课程属于：029-实时风控数据链路 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时风控实时指标计算从零到一

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时指标概述

什么是实时指标，与离线指标的本质区别，以及实时计算在监控、风控、推荐等场景中的典型应用。

实时计算基础

流式数据处理核心概念，数据流与批处理的对比，Flink/Spark Streaming等主流框架概览。

Flink发展历程、核心特性、架构组件详解，以及本地与集群环境搭建实战。

Flink DataStream API

DataStream基础、Source与Sink连接，map/flatMap/filter/keyBy等算子详细讲解与示例。

Flink时间语义与Watermark

Event Time与Processing Time对比，Watermark机制原理，以及应对乱序数据的策略。

Flink窗口操作

Tumbling/Sliding/Session窗口类型详解，窗口函数、触发器与驱逐器的使用技巧。

窗口触发器

Flink状态管理

ValueState/ListState/MapState等状态类型，状态后端配置，以及Checkpoint与Savepoint机制。

Flink容错机制

Exactly-Once语义实现原理，端到端一致性保证，以及多种重启策略配置。

一致性重启

Flink Table & SQL

Table API基础、动态表概念、流式SQL查询示例，以及与DataStream的集成方式。

实时指标案例一：PV/UV统计

基于Flink实现页面访问量统计，使用HyperLogLog进行高效去重，精确与近似计算对比。

实时指标案例二：用户行为路径分析

事件序列匹配与Flink CEP入门，通过复杂事件处理识别用户转化路径。

实时指标案例三：实时排行榜

TopN计算实现，利用Flink ValueState维护动态排名，支持滑动窗口与全局排序。

实时指标案例四：实时监控告警

基于规则引擎的告警系统，使用Flink广播流动态更新告警规则，低延迟触发通知。

实时指标案例五：实时数据清洗与ETL

数据格式转换、脏数据过滤、维表关联（Async I/O），构建高质量实时数据流。

Kafka作为Source与Sink的配置，消息格式与序列化，以及Exactly-Once语义保证实践。

实时数仓架构

实时数仓分层设计（ODS/DWD/DWS/ADS），Lambda与Kappa架构对比及选型建议。

实时指标存储选型

Redis缓存与计数、HBase大状态存储、ClickHouse OLAP查询，不同场景下的存储选择。

实时指标可视化

Grafana配置与Prometheus指标暴露，自定义Dashboard设计，实时数据看板搭建。

可视化Grafana

Flink性能优化

并行度设置、算子链优化、数据倾斜处理、内存调优，提升生产环境稳定性。

Flink生产环境部署

YARN与Kubernetes模式部署，高可用配置，日志与监控体系搭建。

Spark Streaming入门

Spark Streaming架构、DStream与DataFrame对比，以及与Flink的异同分析。

Spark Structured Streaming

Event Time处理、窗口操作、流-流Join与流-维表Join，高级流式语义。

实时指标案例六：实时用户画像

基于Spark的标签计算与实时特征更新，构建动态用户画像系统。

实时指标案例七：实时推荐系统

协同过滤实时更新，基于Flink的实时特征工程，提升推荐时效性。

实时指标质量保障

数据延迟监控、准确性校验、数据回溯机制，确保实时指标可信可靠。

实时数据治理

元数据管理、血缘追踪、数据生命周期管理，构建规范的数据治理体系。

实时计算与AI结合

实时模型推理，Flink与TensorFlow/PyTorch集成，在线学习与特征生产。

实时指标平台建设

平台架构设计、任务管理、资源调度与权限控制，打造企业级实时计算平台。

实时计算前沿技术

流式湖仓（Streaming Lakehouse）、Dataflow模型、云原生实时计算趋势解读。

综合实战：端到端实时指标系统

需求分析、架构设计、代码实现、测试与部署，完整构建生产级实时指标系统。

实战全流程