3. 高并发系统基础：同步与异步、阻塞与非阻塞、线程池与协程模型、QPS与TP99指标

在构建高并发评分通道时，理解底层系统模型是设计高性能架构的前提。本章将围绕四个核心概念展开：同步/异步、阻塞/非阻塞、线程池与协程模型，以及QPS与TP99关键指标。这些概念直接决定了评分服务的吞吐能力、资源利用率和响应稳定性。

3.1 同步与异步、阻塞与非阻塞

这两对概念常被混淆，但它们描述的是不同维度的行为。同步/异步关注调用方是否等待结果；阻塞/非阻塞关注调用方在等待期间能否执行其他任务。

3.2 线程池与协程模型

线程池和协程是两种管理并发任务的核心机制。线程池通过复用线程减少创建/销毁开销；协程则通过用户态调度实现更轻量级的并发。

3.2.1 线程池模型

线程池的核心参数包括核心线程数、最大线程数、任务队列和拒绝策略。在评分通道中，线程池通常用于处理模型推理任务。

// 评分通道线程池配置示例（Java）
ThreadPoolExecutor executor = new ThreadPoolExecutor(
    8,                    // corePoolSize：核心线程数
    16,                   // maximumPoolSize：最大线程数
    60L,                  // keepAliveTime：空闲线程存活时间
    TimeUnit.SECONDS,
    new LinkedBlockingQueue<Runnable>(1000),  // 任务队列
    new ThreadPoolExecutor.CallerRunsPolicy()  // 拒绝策略：调用者线程执行
);

3.2.2 协程模型

协程（Coroutine）是用户态线程，由程序自身调度，切换成本远低于内核线程。在 Python 中通过 asyncio 实现，在 Java 中通过 Project Loom（虚拟线程）或 Kotlin 协程实现。

3.3 QPS 与 TP99 指标

QPS（Queries Per Second）和 TP99（99th Percentile Latency）是衡量高并发系统性能的两个核心指标。QPS 反映系统的吞吐能力，TP99 反映系统的稳定性。

3.3.1 QPS（每秒查询数）

QPS 表示系统每秒能处理的请求数量。在评分通道中，QPS 取决于模型推理速度、IO 延迟和并发度。

QPS = 1000ms / (平均响应时间 × 并发数)

示例：
- 平均响应时间 = 20ms
- 并发数 = 16
- QPS = 1000 / (20 / 16) = 800

3.3.2 TP99（99 分位延迟）

TP99 表示 99% 的请求在多少毫秒内完成。它比平均延迟更能反映系统的尾部延迟问题。例如，TP99 = 200ms 意味着 99% 的请求在 200ms 内返回，只有 1% 的请求超过 200ms。

3.4 高并发评分通道的架构选择

基于以上概念，高并发评分通道的典型架构采用异步非阻塞 IO + 线程池推理 + 协程调度的组合模式：

1. 接入层：使用 Netty 或 Vert.x 实现异步非阻塞网络 IO，处理 HTTP/gRPC 请求。
2. 调度层：使用协程（如 Kotlin 协程或 Java 虚拟线程）编排特征获取、模型推理、结果回写等步骤。
3. 推理层：使用线程池执行 LightGBM 模型推理，充分利用 CPU 多核能力。
4. 监控层：实时采集 QPS、TP50、TP90、TP99 指标，通过 Prometheus 告警。