2. 缓存基础理论：定义、工作原理与命中概念
在 Secrets 管理系统中，缓存是降低后端密钥存储（如 Vault、KMS）负载、缩短访问延迟的核心手段。理解缓存的基本理论，是分析命中性能瓶颈的前提。本节从定义出发，逐步拆解三种主流写入策略及命中/未命中的判定逻辑。
2.1 缓存的定义与核心价值
缓存（Cache）是一种高速数据暂存层，位于请求方与慢速持久化存储之间。其核心思想是：将最近访问或频繁访问的数据副本保存在更快的介质（如内存）中，后续请求优先从缓存读取，从而避免重复执行昂贵的 I/O 或计算操作。
Secrets 场景下的缓存价值：
• 降低密钥获取延迟：从内存读取 vs 从 Vault 读取，延迟差异可达 10~100 倍。
• 减少后端存储压力：避免每次应用启动或轮转都触发对密钥存储的完整请求。
• 提高系统吞吐：缓存层可承载远高于后端存储的 QPS。
• 降低密钥获取延迟：从内存读取 vs 从 Vault 读取，延迟差异可达 10~100 倍。
• 减少后端存储压力：避免每次应用启动或轮转都触发对密钥存储的完整请求。
• 提高系统吞吐：缓存层可承载远高于后端存储的 QPS。
2.2 缓存的工作原理：三种写入策略
缓存与持久化存储之间的数据同步方式，决定了系统的一致性、性能和实现复杂度。以下三种策略是业界最基础的模型，Secrets 管理通常组合使用它们。
| 策略 | 写入路径 | 一致性 | 典型 Secrets 场景 |
|---|---|---|---|
| 写穿透 (Write-Through) | 写入缓存 → 同步写入后端 → 返回成功 | 强一致（缓存与后端同步更新） | 密钥轮转时，立即更新缓存与 Vault |
| 写回 (Write-Back) | 写入缓存 → 立即返回 → 异步写回后端 | 最终一致（存在短暂窗口） | 高频访问的临时令牌，允许短暂不一致 |
| 写旁路 (Write-Around) | 直接写入后端 → 缓存失效或跳过 | 弱一致（缓存可能存旧数据） | 批量导入密钥，避免污染缓存 |
工程建议： Secrets 管理对一致性要求较高，写穿透是默认首选。写回策略仅适用于 TTL 极短且允许丢失的临时凭证；写旁路常用于后台管理操作，随后需主动失效对应缓存条目。
2.3 缓存命中与未命中
缓存命中率是衡量缓存效率的核心指标。每次请求到达缓存层时，系统会执行一次键查找，根据查找结果分为以下两类：
- 缓存命中 (Cache Hit)：请求的键在缓存中存在且未过期，直接返回缓存数据。延迟极低（通常 < 1ms）。
- 缓存未命中 (Cache Miss)：请求的键不存在或已过期，需要回源（Backend）获取数据，并将结果写入缓存（按策略决定）。延迟显著增加（可能 10~100ms）。
Secrets 管理中的特殊未命中场景：
• 缓存穿透：请求一个根本不存在于后端存储的密钥（如被删除的 Secret），每次都会穿透缓存直达后端，造成无效负载。
• 缓存雪崩：大量密钥同时过期，导致瞬间大量请求回源，压垮后端存储。
• 缓存击穿：一个热点密钥过期，高并发请求同时回源重建缓存。
• 缓存穿透：请求一个根本不存在于后端存储的密钥（如被删除的 Secret），每次都会穿透缓存直达后端，造成无效负载。
• 缓存雪崩：大量密钥同时过期，导致瞬间大量请求回源，压垮后端存储。
• 缓存击穿：一个热点密钥过期，高并发请求同时回源重建缓存。
2.4 缓存命中率与性能瓶颈的关联
在 Secrets 管理系统中，缓存命中率直接决定了系统的整体延迟和吞吐。以下表格展示了不同命中率下的典型性能表现：
| 缓存命中率 | 平均延迟 (估算) | 后端 QPS 压力 | 瓶颈风险 |
|---|---|---|---|
| 99% 以上 | < 2ms | 极低 | 低 |
| 95% ~ 99% | 2 ~ 10ms | 中等 | 中等 |
| 80% ~ 95% | 10 ~ 50ms | 较高 | 高 |
| < 80% | > 50ms | 极高 | 严重 |
工程经验： Secrets 缓存命中率应长期维持在 99% 以上。若低于 95%，需立即排查以下原因：缓存容量不足导致频繁淘汰、TTL 设置过短、缓存键设计不合理导致碎片化、或存在缓存穿透攻击。