1. 课程导论：倒排索引基本概念、压缩算法在搜索系统中的角色、尾延迟定义与重要性
1.1 倒排索引基本概念
倒排索引（Inverted Index）是全文搜索引擎的核心数据结构，它将文档集合中的词项（Term）映射到包含该词项的文档列表（Posting List），从而实现快速的关键词检索。与正向索引（文档→词项）相反，倒排索引以词项为键，以文档ID及位置信息为值，大幅提升查询效率。
核心组成：词典（Dictionary）+ 倒排列表（Posting List）。词典存储所有不重复词项；倒排列表记录每个词项出现的文档ID、词频（TF）及位置信息。
1.2 压缩算法在搜索系统中的角色
倒排索引的规模通常非常庞大——一个中等规模的搜索引擎可能拥有数亿文档，倒排列表总长度可达数十亿条目。压缩算法在搜索系统中扮演以下关键角色：
| 角色维度 | 具体作用 | 性能影响 |
|---|---|---|
| 存储节省 | 将倒排列表从原始整数序列压缩为更紧凑的编码 | 减少磁盘占用，降低存储成本 |
| 内存效率 | 压缩后的索引可以更多驻留在内存或缓存中 | 提高缓存命中率，减少磁盘I/O |
| 带宽优化 | 压缩数据在磁盘与内存、网络节点间传输量更小 | 降低传输延迟，提升吞吐量 |
| 解码开销 | 查询时需要实时解码倒排列表 | 增加CPU计算延迟，影响尾延迟 |
关键权衡：压缩率越高，存储和带宽收益越大，但解码复杂度通常也越高，可能导致查询延迟增加。搜索系统需要在压缩率与解码速度之间寻找平衡点。
1.3 尾延迟（Tail Latency）定义与重要性
尾延迟是指服务响应时间分布中最慢的那部分请求的延迟指标，通常用百分位数（Percentile）表示。在搜索系统中，尾延迟直接决定用户体验的最差情况。
尾延迟的常见度量指标包括：
- P50（中位数延迟）：50%的请求在此延迟内完成，代表典型性能。
- P95 / P99：95% / 99%的请求在此延迟内完成，反映尾部性能。
- P99.9：最慢的0.1%请求，通常由极端情况（如缓存未命中、大倒排列表解码）导致。
为什么尾延迟对搜索服务至关重要？ 搜索请求通常由用户直接发起，P99延迟超过几百毫秒就会导致用户感知到“卡顿”。在分布式系统中，单个慢查询可能阻塞整个调用链，引发服务雪崩。压缩算法引入的解码开销，正是尾延迟的重要来源之一。
1.4 压缩算法与尾延迟的关联
不同的倒排索引压缩算法在解码速度上差异显著，直接影响搜索服务的尾延迟表现：
| 压缩算法 | 压缩率 | 解码速度 | 尾延迟影响 |
|---|---|---|---|
| Varint（可变长整数） | 中等 | 快 | 低 |
| Group Varint | 中等 | 较快 | 较低 |
| Simple-8b | 较高 | 中等 | 中等 |
| PForDelta（PFD） | 高 | 中等 | 中等偏高 |
| BP（Binary Packing） | 高 | 较慢 | 高 |
课程核心问题：压缩算法在降低存储成本的同时，其解码开销是否会显著恶化搜索服务的尾延迟？如何通过压测量化这种影响？本课程将围绕这一主题，系统性地设计压测方案、分析实验结果，并给出工程优化建议。