VIP20
本课程属于：071-数据分级分类审计日志巡检 密码学工程与数据安全 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

审计日志存储格式与索引优化技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
审计日志概述
什么是审计日志 · 审计日志的重要性 · 典型应用场景
审计日志概述什么是审计日志
02
审计日志数据特征分析
写多读少 · 顺序写入 · 时间范围查询
审计日志数据特征…写多读少
03
日志存储基础
行存储 vs 列存储 · 各自的优缺点和适用场景
日志存储基础vs
04
文本格式存储
JSON · CSV · Syslog 的优劣与解析成本
文本格式存储JSON
05
二进制格式存储
Avro · Thrift · Protocol Buffers 的…
二进制格式存储Avro
06
列式存储格式
Parquet · ORC 的结构 · 压缩比和查询加速机制
列式存储格式Parquet
07
压缩算法选择
Snappy · Zstd · LZ4
压缩算法选择Snappy
08
日志分区策略
按时间分区 · 按业务分区 · 按哈希分区的设计原则
日志分区策略按时间分区
09
索引基础
B-Tree · B+Tree · Hash索引在日志查询中的局限性
索引基础B-Tree
10
LSM-Tree 索引
写入友好的结构 · 合并与压缩机制 · 适用场景
LSM-Tree索引
11
倒排索引
全文搜索和模糊查询的加速利器 · 以 Elasticsearch 为例
倒排索引全文搜索
12
位图索引
处理低基数枚举字段（如操作类型 · 状态码）的高效方案
位图索引处理低基数枚举字…
13
时序索引
时间戳+标签组合索引的设计模式（如…
时序索引时间戳+标签组合…
14
布隆过滤器
用于快速排除不存在的日志记录 · 减少 IO 开销
布隆过滤器用于快速排除不存
15
复合索引设计
如何为审计日志的典型查询（用户ID…
复合索引设计ID
16
索引维护与重建
在线重建 · 碎片整理 · 监控索引膨胀
索引维护重建
17
存储引擎选型对比
Elasticsearch · ClickHouse · HBase
存储引擎选型对比Elasticsearc…
18
写入吞吐优化
批量写入 · 异步缓冲 · 连接池
写入吞吐优化批量写入
19
查询性能优化
预聚合 · 物化视图 · 采样查询
查询性能优化预聚合
20
数据生命周期管理
TTL 策略 · 冷热数据分离 · 归档到廉价存储
数据生命周期管理TTL
21
分片与副本
水平扩展的副本因子 · 分片策略 · 再平衡机制
分片副本
22
数据一致性保证
最终一致性 vs 强一致性对日志写入…
数据一致性保证vs
23
硬件与部署优化
SSD vs HDD · 内存映射 · NUMA 绑定
硬件部署优化
24
审计日志的写入冲突
并发写入的时间戳乱序 · 如何保证全局有序
审计日志的写入冲…并发写入的时间戳…
25
存储成本控制
采样存储 · 分层压缩 · 删除过期数据的最佳实践
存储成本控制采样存储
26
安全与合规
日志的加密存储 · 访问审计 · 不可篡改特性（WORM）
安全合规
27
监控与告警
存储空间预警 · 索引延迟 · 查询慢日志的监控体系
监控告警
28
实战案例
某系统每天 10TB 审计日志的存储…
实战案例TB
29
性能压测方法
使用 JMeter · Locust 模拟日志写入 · 用 ELK/ClickHouse 验…
性能压测方法JMeter
30
未来趋势
云原生日志存储（如 Loki） · Serverless 日志服务 · AI 驱动的索引自优化
未来趋势Loki