3. 高并发核心概念：QPS、TPS、响应时间、吞吐量、并发用户数

在构建高并发评分通道模型之前，必须精确理解衡量系统性能的五大核心指标。这些指标不仅是压测报告中的数字，更是架构设计、容量规划与故障排查的决策依据。本章将逐一拆解其定义、计算方式与相互关系。

3.1 核心指标定义与对比

下表从定义、单位、典型场景三个维度对五个核心概念进行横向对比，帮助建立清晰的认知框架。

3.2 指标间的数学关系与瓶颈模型

五个指标并非孤立存在，它们通过“排队论”与“利特尔法则 (Little's Law)”紧密关联。理解这些关系是进行容量预估和瓶颈定位的基础。

核心公式：

并发用户数 = QPS × 平均响应时间（秒）

吞吐量 = 并发用户数 / 平均响应时间

系统最大吞吐量 ≈ 1 / 平均响应时间（单线程理想值）

例如：若评分接口平均响应时间为 200ms (0.2秒)，当前 QPS 为 500，则系统维持的并发用户数约为 500 × 0.2 = 100 个。若响应时间恶化至 500ms，要保持相同 QPS，并发用户数需升至 250 个，这可能导致线程池耗尽。

3.3 高并发场景下的指标关系图

下图直观展示了在典型高并发评分系统中，用户请求如何经过负载均衡、应用服务与模型推理服务，并映射到各核心指标上。

3.4 评分通道场景实战：指标计算示例

假设一个评分通道模型部署后的真实压测数据如下，我们通过计算来验证指标间的关系。

压测场景：模拟 200 个并发用户持续提交评分请求。

• 平均响应时间：150ms (0.15秒)
• 总请求数：120,000 次
• 压测时长：60 秒
• 成功事务数：118,000 笔（每次事务包含 1 次鉴权 + 1 次评分计算）

计算过程：

QPS = 总请求数 / 总时间 = 120,000 / 60 = 2,000 请求/秒

TPS = 成功事务数 / 总时间 = 118,000 / 60 ≈ 1,967 事务/秒

吞吐量 = 成功请求数 / 总时间 = 118,000 / 60 ≈ 1,967 请求/秒

验证利特尔法则：并发用户数 = QPS × 平均响应时间 = 2,000 × 0.15 = 300
（实际并发用户数为 200，说明系统存在排队等待，响应时间有波动）

3.5 性能指标与系统瓶颈定位

在实际运维中，通过监控指标的组合可以快速定位瓶颈所在。下表总结了常见指标异常组合与对应的瓶颈区域。