VIP20
本课程属于：020-云原生日志平台组件拓扑图 云原生架构与平台工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

云原生日志采集管道故障诊断与修复

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
Logging Platform 拓… · 数据管道核心组件（采集器 · 缓冲
课程导论Logging
02
采集器层故障（一）
Filebeat/Logstash… · OOM · CPU 飙高
采集器层故障Filebeat/Log…
03
采集器层故障（二）
日志文件轮转（Log Rotatio… · 配置检查与 inode 追踪
采集器层故障Log
04
采集器层故障（三）
多行日志（Stack Trace）解… · multiline 配置调试与正则表…
采集器层故障Stack
05
采集器层故障（四）
采集器与上游 Kafka/Rabbi… · SSL/TLS 握手失败与网络连通性…
采集器层故障Kafka/Rabbi
06
缓冲层故障（一）
Kafka Broker 磁盘写满 · ISR 副本同步滞后 · 导致生产者（Producer）阻塞与…
缓冲层故障Kafka
07
缓冲层故障（二）
Kafka 消费者（Consumer… · Rebalance 频繁 · Lag 持续增长
缓冲层故障Kafka
08
缓冲层故障（三）
Redis 作为缓冲时内存打满 · Key 过期策略导致数据丢失 · 以及阻塞式命令排查
缓冲层故障Redis
09
传输层故障（一）
Logstash 管道内 Filte… · Pipeline-to-Pipeli…
传输层故障Logstash
10
传输层故障（二）
Fluentd Buffer 配置不… · flush 线程阻塞与 retry…
传输层故障Fluentd
11
传输层故障（三）
网络层面丢包 · TCP 窗口缩放 · MTU 问题导致数据传输吞吐下降
传输层故障网络层面丢包
12
存储层故障（一）
Elasticsearch 集群健康… · 分片未分配原因排查（磁盘 · 节点故障
存储层故障Elasticsearc…
13
存储层故障（二）
Elasticsearch 写入拒绝… · 线程池配置与写入限流策略
存储层故障Elasticsearc…
14
存储层故障（三）
Elasticsearch 索引生命… · 滚动索引失败导致单索引过大
存储层故障Elasticsearc…
15
存储层故障（四）
Elasticsearch 字段映射… · 动态映射导致集群元数据压力与性能下降
存储层故障Elasticsearc…
16
索引层故障（一）
查询超时与慢查询 · 索引分片策略不合理 · Routing 与 Filter 上…
索引层故障查询超时
17
索引层故障（二）
聚合查询（Aggregation）内… · Circuit Breaker 触发…
索引层故障Aggregation
18
端到端数据完整性（一）
数据管道端到端延迟（E2E Late… · 时间戳对齐与时钟偏差问题
端到端数据完整性E2E
19
端到端数据完整性（二）
数据丢失与重复计数 · Exactly-Once 语义在 L…
端到端数据完整性数据丢失
20
端到端数据完整性（三）
Schema 变更导致下游解析失败 · Avro/Protobuf 兼容性检…
端到端数据完整性Schema
21
监控与告警体系
Logging Pipeline 核… · Error Rate · Lag
监控告警体系
22
日志内容故障排查
日志中敏感信息泄露（PII）的检测与… · 正则过滤与字段删除
日志内容故障排查PII
23
日志内容故障排查
结构化日志（JSON）格式错误导致解… · 日志框架配置校验与兼容性测试
日志内容故障排查JSON
24
容器化环境排查
Kubernetes 环境下 Dae… · 日志文件挂载权限 · Pod 生命周期与日志丢失
容器化环境排查Kubernetes
25
容器化环境排查
Sidecar 模式采集器的日志重定… · stdout/stderr 与文件日…
容器化环境排查Sidecar
26
云服务集成排查
AWS S3/SQS 作为日志中转时 · S3 Event Notificat… · SQS 死信队列处理
云服务集成排查AWS
27
云服务集成排查
Azure Event Hubs /… · Checkpoint 丢失导致重复消…
云服务集成排查Azure
28
高级故障排查工具
使用 Elasticsearch 的… · 使用 Logstash 的 --de…
高级故障排查工具Elasticsearc…
29
高级故障排查工具
分布式追踪在数据管道中的应用 · 使用 OpenTelemetry 追…
高级故障排查工具分布式追踪
30
综合实战案例
模拟一个完整的“日志采集-缓冲-传输… · 从告警触发到根因定位再到恢复的完整演…
综合实战案例模拟一个完整的“…