3. 常见API风险类型：流量突增风险、模型过载风险、数据异常风险、安全攻击风险

在模型上线后，API 网关是流量的第一道防线。理解风险的类型是设计熔断与降级策略的前提。根据生产环境中的实际故障案例，我们将 API 风险归纳为以下四大类：

3.1 风险类型总览

3.2 流量突增风险

流量突增是最常见的 API 风险，通常由正常业务峰值或异常流量引发。模型服务相比普通 Web 服务更脆弱，因为推理计算是计算密集型且无状态缓存命中率低。

• 瞬时洪峰： 秒级内 QPS 从 100 飙升至 10000，导致连接池耗尽。
• 慢连接耗尽： 大量请求因模型推理慢而长时间占用连接，导致新请求被拒绝。
• 重试风暴： 客户端超时后重试，进一步放大流量，形成雪崩。

3.3 模型过载风险

模型过载是 AI 服务特有的风险。与普通 API 不同，模型推理对 GPU 显存、CPU 内存和计算时延高度敏感。当并发请求超过模型的最大吞吐量时，系统会进入恶性循环。

// 模型过载的典型恶性循环
1. 请求并发 > 模型最大吞吐量
2. 推理队列堆积 → 请求等待时间变长
3. 客户端超时重试 → 更多请求进入队列
4. GPU 显存溢出 → OOM → 模型进程重启
5. 重启期间所有请求失败 → 业务受损

3.4 数据异常风险

数据异常风险往往被低估。模型对输入数据的质量高度敏感，异常数据可能导致推理结果完全错误，甚至引发模型内部死循环或内存泄漏。

• 格式异常： 缺少必填字段、字段类型错误（如 int 传了 string）。
• 语义异常： 超长文本、对抗样本、包含特殊控制字符。
• 业务异常： 数据分布偏移，导致模型输出置信度极低。

3.5 安全攻击风险

模型 API 面临的安全威胁比传统 API 更复杂。攻击者不仅会尝试耗尽服务资源，还会试图窃取模型参数或通过对抗样本操纵模型输出。

3.6 四类风险的关系与熔断触发逻辑

在实际系统中，四类风险往往相互关联。例如，安全攻击可能导致流量突增，流量突增又引发模型过载。因此，熔断器需要具备多维度感知能力。

3.7 风险识别与熔断阈值设定参考

针对上述四类风险，我们推荐以下熔断触发阈值作为初始配置。实际生产环境中需要根据模型性能和业务容忍度进行调整。