首页
›
数据工程与实时数据平台
›
014-大数据计算优化
›
《从日志分析定位性能瓶颈》
VIP20
本课程属于:014-大数据计算优化
数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
从日志分析定位性能瓶颈
📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
日志分析基础
日志作用、DEBUG/INFO/WARN/ERROR/FATAL级别、格式规范,奠定分析根基。
日志级别
规范
02
日志采集与存储
ELK/EFK架构、Logstash/Fluentd配置、分片与索引策略,构建可靠管道。
ELK
Logstash
索引
03
日志分析工具
grep/awk/sed实战、jq处理JSON、Python解析库,命令行与脚本利器。
grep
jq
Python
04
性能指标提取
响应时间RT、吞吐量TPS/QPS、错误率、P99/P95延迟计算与解读。
RT
P99
TPS
05
慢查询日志分析
数据库慢查询定位、索引优化、SQL执行计划解读,提升数据层性能。
慢SQL
索引
执行计划
06
CPU瓶颈定位
CPU使用率、上下文切换、线程Dump分析、热点函数追踪,精准定位。
CPU
线程Dump
热点
07
内存瓶颈定位
内存泄漏检测、GC日志分析、堆转储、OOM排查,守护内存健康。
GC
Heap Dump
OOM
08
磁盘I/O瓶颈定位
iostat/iotop、磁盘吞吐量、IOPS、文件系统优化,消除存储延迟。
iostat
IOPS
文件系统
09
网络瓶颈定位
网络延迟、丢包率、带宽占用、TCP连接状态分析,优化网络层。
延迟
丢包
TCP
10
应用层瓶颈定位
线程池阻塞、连接池耗尽、锁竞争、缓存击穿/穿透/雪崩,代码级调优。
线程池
锁竞争
缓存雪崩
11
全链路追踪
OpenTracing/Jaeger/Zipkin、TraceID与Span,分布式调用链分析。
Jaeger
Zipkin
TraceID
12
日志聚合与可视化
Kibana仪表盘、Grafana日志面板、告警规则配置,一目了然。
Kibana
Grafana
告警
13
业务日志分析
用户行为日志、交易日志、异常日志模式识别,洞察业务状态。
用户行为
交易
异常模式
14
日志清洗与预处理
解析规则、字段提取、数据脱敏、降噪,提升日志质量。
解析
脱敏
降噪
15
日志存储优化
冷热分离、压缩、保留策略、成本控制,高效管理日志数据。
冷热分离
压缩
成本
16
实时日志分析
Kafka Streams/Flink SQL、CEP复杂事件处理、实时告警,快速响应。
Flink
CEP
实时
17
日志安全与合规
日志审计、敏感信息过滤、访问控制、GDPR合规,安全第一。
审计
GDPR
过滤
18
AIOps与日志分析
异常检测、日志聚类、根因分析、智能告警降噪,AI赋能运维。
异常检测
聚类
根因
19
容器日志管理
Docker日志驱动、K8s采集、Sidecar模式、Fluent Bit,云原生日志。
Docker
K8s
Sidecar
20
Serverless日志分析
AWS Lambda、Azure Functions日志、持久化挑战,无服务器可观测。
Lambda
Azure
持久化
21
日志分析自动化
自动化巡检、定时报告、根因分析脚本,提升效率。
巡检
报告
自动化
22
性能基准测试
JMeter/Locust压力测试、基线建立、对比分析,量化性能。
JMeter
Locust
基线
23
日志驱动开发(LDD)
日志先行、断言、测试日志验证,开发与日志融合。
LDD
断言
测试
24
大规模日志系统架构
每日TB级处理、多租户隔离、高可用设计,企业级架构。
TB级
多租户
高可用
25
日志分析案例
电商大促优化、金融慢交易、游戏卡顿,真实场景实战。
电商
金融
游戏
26
日志分析最佳实践
规范制定、流程标准化、团队协作,沉淀组织能力。
规范
流程
协作
27
日志分析工具链整合
Prometheus+Loki+Grafana、Elasticsearch+Kibana+APM,统一可观测。
Loki
Prometheus
APM
28
日志分析进阶
机器学习应用、日志模式自动发现,智能分析新范式。
ML
模式发现
29
日志分析面试题
常见问题、系统设计、实战场景,助力职业进阶。
面试
系统设计
30
日志分析未来趋势
eBPF与可观测性、OpenTelemetry、Logs/Metrics/Traces融合。
eBPF
OpenTelemetry
融合
所属VIP或分类
同VIP:Shuffle机制原理与性能调优Spark-Join-AQE性能调优实
同VIP:Spark内存管理与调优实战
同VIP:Spark大数据计算优化核心方法论