01
数据管道可观测性概述
什么是数据管道可观测性、为什么需要可观测性、核心三支柱（日志、指标、追踪）。
基础三支柱
02
可观测性 vs 监控
区别与联系、传统监控的局限性、可观测性的优势、适用场景对比。
对比概念
03
数据管道基础架构
批处理与流处理、常见管道组件（Ingestion、Transform、Storage）、典型架构图。
架构批流
04
日志管理基础
日志级别（DEBUG/INFO/WARN/ERROR）、结构化日志、日志采集与集中管理。
日志级别
05
日志实战
使用Filebeat采集日志、Logstash解析、Elasticsearch存储、Kibana可视化。
ELK实战
06
指标监控基础
指标类型（Counter/Gauge/Histogram/Summary）、Prometheus架构、指标采集原理。
指标Prometheus
07
指标实战
部署Prometheus、配置Exporter、编写PromQL查询、Grafana仪表盘搭建。
实战Grafana
08
分布式追踪基础
Trace/Span概念、OpenTelemetry标准、Jaeger与Zipkin对比。
追踪OpenTelemetry
09
追踪实战
使用OpenTelemetry SDK埋点、Jaeger部署、追踪数据可视化与分析。
Jaeger埋点
10
数据管道健康检查
管道延迟监控、数据完整性校验、错误率与重试机制监控。
健康延迟
11
数据质量监控
Schema校验、数据分布异常检测、空值/重复值监控、质量SLA定义。
质量SLA
12
告警体系设计
告警规则编写、告警级别定义、告警通知渠道（邮件/钉钉/PagerDuty）、告警静默与聚合。
告警通知
13
告警实战
Prometheus Alertmanager配置、告警路由、告警模板、告警自愈（Webhook）。
Alertmanager自愈
14
可观测性平台选型
开源方案（ELK/Prometheus/Grafana）、商业方案（Datadog/Splunk）、选型考量因素。
选型开源
15
数据管道SLA/SLO/SLI
定义与区别、SLO制定方法、SLI指标选取、错误预算概念。
SLO错误预算
16
SLO实战
使用Prometheus计算SLI、SLO告警配置、错误预算消耗告警。
PrometheusSLI
17
事件响应与故障排查
事件分类、故障排查流程、根因分析（RCA）、事后复盘。
故障RCA
18
数据管道安全可观测性
访问审计日志、敏感数据检测、异常访问告警、合规要求。
安全审计
19
成本可观测性
管道资源消耗监控、成本分摊、成本优化策略、预算告警。
成本优化
20
大规模管道可观测性
采样策略、聚合策略、存储成本控制、查询性能优化。
大规模采样
21
Kubernetes环境可观测性
Pod/Container日志采集、K8s指标监控、Service Mesh追踪。
K8sService Mesh
22
K8s可观测性实战
部署Prometheus Operator、Grafana Loki日志、Jaeger on K8s。
OperatorLoki
23
数据血缘与元数据管理
数据血缘概念、元数据采集、血缘可视化、影响分析。
血缘元数据
24
数据管道测试可观测性
测试覆盖率监控、测试结果追踪、回归测试告警。
测试覆盖率
25
CI/CD管道可观测性
构建日志、部署追踪、版本回滚监控、发布质量门禁。
CI/CD发布
26
实时管道可观测性
Kafka监控、Flink/Spark Streaming指标、实时延迟告警。
实时Kafka
27
数据湖/仓可观测性
Delta Lake/Iceberg表监控、查询性能追踪、数据新鲜度监控。
数据湖Iceberg
28
可观测性数据平台建设
统一数据模型、数据存储选型、查询引擎、可视化层。
平台架构
29
可观测性文化落地
团队协作流程、Runbook编写、On-Call实践、持续改进。
文化Runbook
30
综合实战
构建端到端数据管道可观测性平台、案例复盘、最佳实践总结。
综合最佳实践