📚 课程目录第1章课程导论

1. 课程导论：什么是API流量整形，为什么在模型风控中至关重要，课程目标与学习路径

1.1 什么是API流量整形

API流量整形（API Traffic Shaping）是一种主动的流量管理技术，通过对API请求的速率、并发数、优先级和内容进行动态控制，确保后端模型服务在高负载、异常攻击或资源受限场景下仍能稳定、公平地提供服务。它不同于简单的限流（Rate Limiting），而是结合了速率限制、请求排队、优先级调度和流量降级等多种策略的综合治理手段。

核心定义： API流量整形 = 对入站请求的“形状”进行主动干预，使其符合后端模型服务的容量与安全策略，而非被动接受所有流量。

1.2 为什么在模型风控中至关重要

大语言模型（LLM）和机器学习模型服务具有高计算成本、长响应延迟和安全敏感性三大特征。未经整形的API流量会直接导致以下风险：

资源耗尽（Resource Exhaustion）： 突发请求打满GPU/CPU，导致正常用户请求超时或失败。
模型滥用（Model Abuse）： 恶意用户通过高频调用窃取模型知识、进行提示注入或生成有害内容。
成本失控（Cost Blowout）： 按Token或按调用次数计费的模型服务，无节制流量直接转化为巨额账单。
服务质量下降（QoS Degradation）： 高优先级业务（如实时风控决策）被低优先级批量任务阻塞。

风险类型	无流量整形时的表现	有流量整形后的效果
资源耗尽	GPU OOM，服务崩溃	请求排队，平滑负载
模型滥用	API Key被盗刷，日调用量暴增100倍	速率限制+身份校验，拦截异常
成本失控	月度账单超预算300%	配额控制+熔断，成本可预测
QoS下降	实时推理延迟从200ms飙升至10s	优先级队列，关键业务保障

关键认知： 模型风控不仅仅是“检测恶意内容”，更包括“保护模型服务本身不被恶意或异常流量摧毁”。API流量整形是模型风控的第一道防线。

1.3 课程目标与学习路径

本课程旨在培养学员从架构设计到策略调优的全链路能力，最终能够独立构建生产级的模型API流量整形系统。

课程三大目标

理解原理： 掌握令牌桶、漏桶、滑动窗口、优先级队列等核心算法及其在模型场景下的适用性。
掌握工程实现： 基于Nginx、Kong、Envoy等网关，以及Redis、Sentinel等中间件，实现分布式流量整形。
风控实战： 结合模型安全策略（内容过滤、频率检测、用户画像），设计自适应整形规则。

学习路径（6大模块）

模块	主题	核心产出
1	流量整形基础与算法	令牌桶/漏桶代码实现
2	API网关整形实战	Nginx+Lua限流配置
3	分布式整形与一致性	Redis+Sentinel集群方案
4	模型风控策略融合	动态阈值+用户分级规则
5	可观测性与压测	Prometheus+Grafana监控面板
6	生产级架构与案例	高并发模型API完整架构

1.4 核心架构概览

下图展示了API流量整形在模型风控体系中的位置与核心组件关系：

1.5 学习建议与预备知识

预备知识： 建议学员具备以下基础：
• 熟悉HTTP协议与RESTful API设计
• 了解基本的Linux操作与网络概念
• 有至少一种编程语言（Python/Go/Java）的使用经验
• 对模型推理的基本流程有概念性认识

本课程将提供完整的代码示例、配置文件模板和压测脚本。每章末尾配有动手实验环节，建议学员在本地或云环境搭建实验环境，边学边练。

现在，让我们从第2章开始，深入令牌桶与漏桶算法的原理与实现。