VIP20
本课程属于:040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

日志检索优化从入门到精通

📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
日志基础认知
什么是日志、日志的级别(DEBUG/INFO/WARN/ERROR/FATAL)、日志的作用与价值。
入门核心概念
02
日志格式规范
通用日志格式(时间戳、级别、线程、类名、消息)、自定义日志格式、日志字段设计原则。
规范设计
03
日志框架选型
Log4j、Logback、Log4j2、SLF4J对比、Java日志门面与实现的选择策略。
框架Java
04
日志采集入门
文件采集(tail -f)、网络采集(Syslog)、Agent采集(Filebeat/Logstash)。
采集工具
05
日志存储基础
本地文件存储、滚动策略(Size/Time based)、压缩与归档。
存储运维
06
日志检索核心概念
全文检索、倒排索引、分词器、相关性评分。
检索原理
07
Elasticsearch入门
ES安装与启动、索引与文档概念、RESTful API基础。
ES入门
08
ES索引映射
动态映射与显式映射、字段类型(text/keyword/date/nested)、映射参数。
映射ES
09
ES分词器
内置分词器(Standard/Whitespace/Pattern)、中文分词器(IK/ICU)、自定义分词器。
分词中文
10
ES查询DSL
match查询、term查询、range查询、bool查询、聚合查询。
查询DSL
11
ES查询优化
查询缓存、过滤器上下文、索引优化、路由优化。
优化性能
12
Kibana可视化
Kibana安装与配置、Discover日志浏览、Dashboard仪表盘。
可视化Kibana
13
Logstash管道
Input插件(file/tcp/syslog)、Filter插件(grok/mutate/date)、Output插件(elasticsearch/file)。
Logstash管道
14
Filebeat轻量采集
Filebeat架构、多行日志处理(multiline)、模块配置。
Filebeat采集
15
日志解析实战
Grok正则表达式、Dissect结构化解析、JSON解析。
解析Grok
16
日志清洗与增强
字段提取、字段转换、字段删除、添加业务标签。
清洗ETL
17
日志聚合分析
时间聚合、字段聚合、百分比聚合、TopN分析。
聚合分析
18
日志告警体系
ElastAlert配置、Watcher告警、自定义告警规则。
告警监控
19
日志链路追踪
TraceId注入、跨服务日志关联、分布式追踪(Jaeger/Zipkin)。
链路分布式
20
日志脱敏与安全
敏感字段识别、脱敏策略(掩码/替换/加密)、审计日志。
安全脱敏
21
日志存储优化
索引生命周期管理(ILM)、冷热数据分离、索引压缩。
存储ILM
22
日志检索性能调优
分片策略、副本策略、刷新间隔、段合并。
调优性能
23
日志集群管理
ES集群搭建、节点角色划分、故障转移与恢复。
集群高可用
24
日志平台架构设计
ELK/EFK/PLG架构对比、高可用设计、容量规划。
架构设计
25
日志检索最佳实践
查询语句优化、索引模板设计、别名使用。
实践优化
26
日志检索常见问题
慢查询排查、索引丢失恢复、数据倾斜处理。
排错运维
27
日志检索监控
集群监控(Cerebro/Kibana Monitoring)、性能指标(QPS/延迟/磁盘)。
监控指标
28
日志检索自动化
索引自动创建、数据自动清理、告警自动处理。
自动化运维
29
日志检索进阶
SQL查询(Elasticsearch SQL)、异步搜索、滚动搜索。
进阶SQL
30
日志检索未来趋势
AI日志分析、异常检测、日志即数据(Log-as-Data)。
趋势AI