VIP20

本课程属于：031-埋点与事件治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

埋点数据Flink清洗脏数据的核心技巧

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink数据清洗概述

什么是脏数据，脏数据的常见类型（空值、格式错误、重复数据、异常值），Flink在数据清洗中的优势。

脏数据Flink优势

Flink环境搭建与数据源接入

Flink开发环境配置，读取Kafka数据源、文件数据源、Socket数据源。

环境配置数据源

数据过滤与空值处理

使用filter算子过滤无效数据，处理null值，使用三元表达式兜底，自定义空值处理函数。

filternull处理

数据格式校验与转换

日期格式统一，数字格式校验，字符串清洗（trim/replace），使用MapFunction进行格式转换。

格式校验MapFunction

数据去重策略

基于KeyedStream的distinct去重，使用ValueState实现精确去重，基于时间窗口的近似去重，布隆过滤器去重。

去重布隆过滤器

异常值检测与处理

基于统计的异常值检测（均值/标准差），基于阈值的异常值过滤，使用ProcessFunction自定义异常检测逻辑。

异常检测ProcessFunction

数据补全与填充

使用侧输出流（Side Output）收集异常数据，基于历史数据的填充策略，使用RichMapFunction加载外部字典补全。

Side Output数据补全

多流关联与数据对齐

使用CoGroup实现双流Join，使用IntervalJoin实现时间窗口内的关联，处理关联失败的数据。

多流JoinIntervalJoin

数据拆分与路由

使用SplitStream（已废弃）与Side Output实现数据分流，根据数据质量等级路由到不同Sink。

数据分流Side Output

数据聚合与降噪

使用滚动聚合（sum/min/max），使用reduce和aggregate自定义聚合逻辑，滑动窗口下的数据降噪。

Watermark与乱序数据处理

Watermark的概念与原理，设置Watermark策略，处理迟到数据（Allowed Lateness + Side Output）。

Watermark乱序处理

状态后端与状态管理

状态后端的类型（Memory/Filesystem/RocksDB），状态TTL设置，Checkpoint与Savepoint在清洗中的应用。

状态后端Checkpoint

使用CEP进行复杂事件清洗

CEP模式定义，匹配脏数据模式（如连续空值），超时事件处理。

CEP复杂事件

数据质量监控与告警

使用Metrics上报清洗统计，自定义Reporter，基于清洗结果触发告警。

清洗链路的性能优化

算子链与任务链优化，数据倾斜处理，反压监控与调优。

性能优化反压

使用Table API进行声明式清洗

Table API与SQL的转换，使用SQL函数清洗数据，动态表与连续查询。

自定义Sink与清洗结果输出

写入Kafka、HDFS、MySQL，事务性Sink（Exactly-Once语义）。

SinkExactly-Once

数据血缘与溯源

使用Flink的Operator ID追踪数据来源，在清洗过程中添加数据标签，输出清洗日志。

数据血缘溯源

清洗规则的动态配置

使用广播流（BroadcastStream）动态更新清洗规则，基于配置中心的规则热加载。

动态配置广播流

大规模数据清洗的并行度调优

并行度设置原则，KeyBy的哈希冲突优化，使用自定义分区器。

并行度分区器

嵌套JSON数据的清洗

使用JSON Path提取字段，处理JSON结构不一致，使用自定义DeserializationSchema。

JSONDeserialization

地理信息数据的清洗

IP地址解析为地理位置，经纬度范围校验，使用外部GeoIP库。

地理信息GeoIP

时间序列数据的清洗

时间戳对齐，采样率转换，缺失值插值（线性插值/样条插值）。

时间序列插值

文本数据的清洗

分词与停用词过滤，正则表达式匹配敏感词，编码格式统一（UTF-8/GBK）。

文本清洗正则

使用Python API进行清洗

PyFlink环境搭建，Python UDF编写，Python与Java混合编程。

清洗任务的单元测试与集成测试

使用TestHarness测试算子，模拟数据源测试清洗逻辑，端到端测试。

测试TestHarness

清洗任务的部署与运维

Standalone模式部署，YARN/Kubernetes模式部署，监控面板配置。

实战案例一：电商订单数据清洗

订单数据常见脏数据，清洗流程设计，性能压测与优化。

实战案例二：日志数据清洗与结构化

日志格式解析，异常日志提取，清洗后的数据写入Elasticsearch。

日志Elasticsearch

实战案例三：IoT传感器数据清洗

传感器数据乱序处理，异常值过滤，数据降噪与聚合。