搜索系统延迟模型

搜索系统的尾延迟并非随机噪声，而是由请求处理链路中多个关键节点的延迟分布叠加而成。理解延迟模型，是定位和优化尾延迟的第一步。

2.1 搜索请求处理链路

一个典型的搜索请求从用户发起到达最终返回结果，会经历以下核心阶段：

1. 接入层：负载均衡、TLS 握手、协议解析。
2. 查询解析：分词、意图识别、重写、拼写纠错。
3. 检索层：倒排索引查找、向量检索、多路召回。
4. 排序层：粗排、精排（DNN 模型打分）、重排。
5. 聚合层：合并结果、去重、业务策略混排。
6. 输出层：序列化、网络传输、客户端渲染。

2.2 关键延迟节点

在 Go 实现的搜索系统中，以下节点是尾延迟的主要贡献者：

2.3 延迟分布特征

搜索系统的延迟分布通常呈现“长尾”特征，即大多数请求很快完成，但少数请求耗时极长。这种分布可以用以下模型描述：

• 正态分布：理想情况，实际系统中几乎不存在。
• 对数正态分布：常见于网络延迟和磁盘 I/O。
• 帕累托分布：典型的长尾分布，P99 可能是 P50 的 10-100 倍。
• 多模态分布：由不同查询类型或缓存状态混合导致。

2.4 延迟模型在 Go 中的实践

在 Go 搜索系统中，我们可以通过以下方式量化延迟模型：

// 延迟采样与分位数计算示例
type LatencyTracker struct {
    mu       sync.Mutex
    buckets  []time.Duration
    quantile float64 // 目标分位数，如 0.99
}

func (t *LatencyTracker) Record(d time.Duration) {
    t.mu.Lock()
    t.buckets = append(t.buckets, d)
    t.mu.Unlock()
}

func (t *LatencyTracker) Quantile() time.Duration {
    t.mu.Lock()
    defer t.mu.Unlock()
    if len(t.buckets) == 0 {
        return 0
    }
    sort.Slice(t.buckets, func(i, j int) bool {
        return t.buckets[i] < t.buckets[j]
    })
    idx := int(float64(len(t.buckets)-1) * t.quantile)
    return t.buckets[idx]
}

2.5 延迟模型与尾延迟的关系

延迟模型直接决定了尾延迟的优化策略：

• 正态分布：优化平均延迟即可，尾延迟自然改善。
• 对数正态分布：需要识别并消除“慢请求”的根因，如慢查询或慢节点。
• 帕累托分布：必须采用“延迟剪枝”策略，如超时熔断、副本选择、对冲请求。
• 多模态分布：需要按查询类型或缓存状态拆分延迟分布，分别优化。