VIP20

本课程属于：040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

增量计算加速日志处理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

增量计算概述

什么是增量计算、为什么需要增量计算、增量计算 vs 全量计算、应用场景分析。

日志处理基础

日志格式解析、日志级别、日志采集工具(Filebeat/Flume)、日志存储选型。

增量计算核心原理

状态管理、增量更新策略、数据一致性保证、Checkpoint机制。

增量计算加速技术

增量索引、增量聚合、增量关联、增量去重。

基于Flink的实时日志增量处理、基于Spark Streaming的日志增量分析、性能调优与监控。

增量计算与日志处理

日志增量采集、日志增量清洗、日志增量存储、日志增量分析。

日志全链路

增量计算框架选型

Flink、Spark Streaming、Kafka Streams、Storm对比。

增量计算状态后端

MemoryStateBackend、FsStateBackend、RocksDBStateBackend。

增量计算时间语义

Event Time、Processing Time、Ingestion Time、Watermark机制。

时间Watermark

增量计算窗口机制

Tumbling Window、Sliding Window、Session Window、Global Window。

增量计算容错机制

Exactly-Once语义、At-Least-Once语义、端到端一致性。

容错一致性

增量计算与批处理结合

Lambda架构、Kappa架构、流批一体。

日志增量采集实战

Filebeat配置、Kafka接入、日志分区策略。

日志增量清洗实战

正则解析、JSON解析、日志字段提取、脏数据处理。

日志增量存储实战

Elasticsearch索引优化、HBase列族设计、ClickHouse表引擎。

日志增量分析实战

实时聚合、趋势分析、异常检测、告警触发。

增量计算性能优化

并行度设置、算子链优化、数据倾斜处理、背压机制。

增量计算监控与运维

Metrics监控、日志追踪、任务重启策略、资源管理。

增量计算与机器学习

在线学习、特征工程、模型更新、实时预测。

增量计算安全与权限

数据脱敏、访问控制、审计日志、加密传输。

增量计算与云原生

Kubernetes部署、容器化、弹性伸缩、CI/CD。

增量计算与数据湖

Delta Lake、Apache Iceberg、Apache Hudi。

数据湖Lakehouse

增量计算与消息队列

Kafka、Pulsar、RabbitMQ、RocketMQ对比。

消息队列对比

增量计算与数据库

CDC技术、Debezium、Canal、Maxwell。

增量计算与搜索引擎

Elasticsearch增量索引、Solr增量索引、实时搜索。

增量计算与图计算

实时图分析、图增量更新、图算法优化。

图计算实时

增量计算与复杂事件处理

CEP模式匹配、事件序列、规则引擎。

增量计算与数据可视化

实时仪表盘、Grafana、Kibana、Superset。

可视化仪表盘

增量计算最佳实践

架构设计原则、代码规范、测试策略、文档管理。

最佳实践规范

增量计算未来趋势

Serverless流处理、AI驱动优化、边缘计算、量子计算影响。