📚 课程目录第1章 API风险控制概述

1. API风险控制概述

API风险控制是指在模型服务对外暴露API接口时，通过一系列技术手段对请求流量、响应质量、资源消耗和异常行为进行实时监测与干预的机制。它本质上是模型服务的第一道安全防线，确保API在不可预测的生产环境中仍能保持稳定、安全、可控。

与传统的Web API风险控制不同，模型API具有三个显著特征：

核心认知：模型API风险控制不是简单的限流，而是融合了流量治理、质量门禁、成本控制和异常熔断的综合体系。

模型从离线训练到在线服务，环境发生了根本性变化。离线评测无法覆盖线上所有的输入分布、并发模式和异常场景。以下是模型发布时必须引入风险控制的四个关键原因：

风险维度	离线阶段表现	线上发布后风险	后果
流量冲击	单线程、固定QPS测试	突发流量可达离线测试的100倍以上	服务雪崩、GPU OOM
输入污染	干净、合规的测试集	恶意注入、超长文本、对抗样本	模型崩溃、安全事件
输出失控	人工标注验证	实时生成有害/违规内容	合规风险、品牌损害
依赖故障	模拟依赖、无真实调用链	下游服务超时、数据库连接池耗尽	级联故障、整体不可用

发布教训：某头部AI公司在2023年发布对话模型时，因未配置输入长度限制，单个用户发送了10万token的恶意请求，导致GPU显存溢出，全集群重启耗时47分钟，直接经济损失超百万。

模型发布时的API风险控制围绕三个核心目标展开，构成一个可量化的治理框架：

可用性目标：保障API在预期负载下的正常响应，核心指标包括：
- 请求成功率 ≥ 99.9%（排除熔断主动拒绝）
- P99延迟 ≤ 模型推理延迟的1.5倍
- 无级联故障导致的全局不可用
安全性目标：防止恶意输入和有害输出，核心指标包括：
- 有害内容拦截率 ≥ 99.5%
- 注入攻击识别率 ≥ 99.9%
- 敏感信息泄露事件 = 0
成本控制目标：在保障服务质量的前提下优化资源消耗，核心指标包括：
- 无效请求（被拒绝的请求）占比 ≤ 5%
- 单次推理成本波动 ≤ ±20%
- 资源利用率 ≥ 70%

  目标优先级：在模型发布初期，可用性目标 > 安全性目标 > 成本控制目标。当服务进入稳定期后，三者权重逐渐趋于平衡。

模型发布过程中的风险控制不是一次性配置，而是贯穿发布全生命周期的动态过程：

  关键原则：风险控制策略应在发布前完成配置和验证，发布中只做监控和触发，不做策略变更。发布中的任何策略调整都必须走变更审批流程。

没有度量就没有控制。模型发布时的API风险控制需要建立一套可量化、可追踪的度量体系，用于评估控制效果和指导策略调整：

度量陷阱：不要只关注平均指标。模型API的延迟分布往往呈现长尾特征，P99延迟可能是P50的5~10倍。必须同时监控P50、P95、P99和P999四个分位值，才能全面掌握服务质量。

熔断是风险控制体系中最核心的主动防御手段。两者之间的关系可以概括为：