VIP20
本课程属于：071-数据分级分类审计日志巡检 密码学工程与数据安全 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

日志存储格式优化与索引设计方法

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
日志系统概述
日志的重要性 · 日志分类 · 常见日志框架
日志系统概述日志的重要性
02
日志存储格式基础
文本日志 · 二进制日志 · 结构化日志
日志存储格式基础文本日志
03
日志格式设计原则
可读性 · 解析效率 · 压缩率
日志格式设计原则可读性
04
常见日志格式对比
JSON · AVRO · Protobuf
常见日志格式对比JSON
05
日志字段设计
时间戳 · 级别 · 来源
日志字段设计时间戳
06
时间戳优化
精度 · 时区 · 格式选择
时间戳优化精度
07
日志级别与过滤设计
级别定义 · 动态调整 · 性能影响
日志级别过滤设计
08
日志上下文信息
线程ID · 请求ID · 用户ID等元数据
日志上下文信息ID
09
日志采样与降采样策略
全量vs采样 · 自适应采样
日志采样降采样策略
10
日志压缩算法
gzip · snappy · lz4
日志压缩算法gzip
11
日志轮转策略
按大小 · 按时间 · 混合轮转
日志轮转策略按大小
12
日志文件命名规范
时间戳 · 主机名 · 进程ID等
日志文件命名规范时间戳
13
日志存储介质选择
HDD · SSD · 内存
日志存储介质选择HDD
14
日志写入性能优化
异步写入 · 批量写入 · 缓冲区设计
日志写入性能优化异步写入
15
日志索引设计基础
为什么需要索引 · 索引类型（B树 · 倒排
日志索引设计基础为什么需要索引
16
基于时间戳的索引
时间分区 · 时间范围查询优化
基于时间戳的索引时间分区
17
基于日志级别的索引
位图索引 · 倒排索引
基于日志级别的索…位图索引
18
基于关键字的索引
全文索引 · ngram索引
基于关键字的索引全文索引
19
索引存储开销与更新策略
写放大 · 索引重建
索引存储开销更新策略
20
日志查询引擎设计
Lucene/Elasticsear…
日志查询引擎设计Lucene/Elast…
21
分布式日志系统索引
分片 · 路由 · 聚合
分布式日志系统索…分片
22
日志存储格式对索引的影响
结构化vs非结构化
日志存储格式对索…vs
23
索引压缩技术
词条压缩 · 倒排表压缩
索引压缩技术词条压缩
24
索引缓存与内存管理
LRU · 布隆过滤器
索引缓存内存管理
25
日志检索性能调优
查询计划 · 索引选择
日志检索性能调优查询计划
26
实时索引vs批量索引
Lambda架构 · Kappa架构
vs实时索引
27
日志存储与索引的监控
延迟 · 吞吐 · 磁盘使用
日志存储索引的监控
28
常见日志系统案例
ELK Stack · Loki · Graylog
常见日志系统案例ELK
29
日志存储格式优化实战
从JSON改为Protobuf的收益
日志存储格式优化…JSON
30
索引设计实战
日志查询从秒级到毫秒级优化
索引设计实战日志查询从秒级到…