4. 效率维度评估指标：推理延迟、吞吐量、资源利用率、并发处理能力
在AML推理链路中，效率维度直接决定了模型能否在真实业务场景中落地。一个高精度的模型如果推理延迟过高或资源消耗过大，将无法满足实时交易监控、批量名单筛查等场景的SLA要求。本节从四个核心指标展开量化评估方法。
4.1 推理延迟（Inference Latency）
推理延迟指从输入数据到达推理引擎到输出结果返回的完整耗时，通常以毫秒（ms）为单位。在AML场景中，延迟可分为三个子阶段：
- 预处理延迟：特征提取、数据清洗、格式转换等操作耗时。
- 模型计算延迟：模型前向传播或规则引擎执行的核心耗时。
- 后处理延迟：结果解析、阈值判定、告警生成等操作耗时。
| 延迟类型 | 典型范围 | AML场景要求 |
|---|---|---|
| 实时交易监控 | P50 < 50ms, P99 < 200ms | 单笔交易推理延迟 |
| 批量名单筛查 | P50 < 500ms, P99 < 2s | 万级名单批量推理 |
| 深度调查分析 | P50 < 5s, P99 < 30s | 复杂图模型推理 |
量化建议：使用分位数（P50/P95/P99）而非平均值评估延迟，避免长尾请求掩盖真实性能瓶颈。建议在压测环境中采集至少10,000次推理样本。
4.2 吞吐量（Throughput）
吞吐量衡量系统在单位时间内能处理的推理请求数量，常用指标为QPS（Queries Per Second）或TPS（Transactions Per Second）。在AML链路中，吞吐量需与业务峰值流量对齐。
吞吐量的计算公式：
Throughput = 成功完成的推理请求数 / 总耗时（秒）
示例：
- 日交易量 500 万笔，峰值集中在 2 小时内
- 峰值吞吐需求 = 5,000,000 / (2 × 3600) ≈ 695 QPS
- 考虑 1.5 倍冗余，目标吞吐量 ≥ 1043 QPS| 业务场景 | 日均请求量 | 峰值吞吐需求 |
|---|---|---|
| 中小型支付机构 | 100万笔 | 200-500 QPS |
| 大型银行核心系统 | 5000万笔 | 3000-8000 QPS |
| 跨境交易监控 | 200万笔 | 500-1500 QPS |
4.3 资源利用率（Resource Utilization）
资源利用率评估推理链路对计算资源（CPU、GPU、内存、磁盘I/O）的消耗效率。在AML系统中，资源利用率直接影响部署成本和扩容策略。
核心监控指标：
- CPU利用率：建议保持在 60%-80%，避免超过 90% 导致抖动。
- GPU利用率：深度学习模型推理时，目标利用率 ≥ 70%。
- 内存占用：模型加载后的常驻内存 + 推理峰值内存。
- 内存带宽：特征向量和中间结果的读写速率。
效率公式：资源效率 = 有效推理吞吐量 / 资源成本（如 vCPU·小时）。在同等吞吐下，资源效率越高，单位推理成本越低。
4.4 并发处理能力（Concurrency Handling）
并发处理能力指系统在同时处理多个推理请求时的稳定性和性能表现。AML推理链路常面临突发流量（如月末交易高峰、制裁名单更新后的批量重扫），并发能力不足会导致请求排队、超时甚至系统崩溃。
并发能力评估维度：
- 最大并发数：系统在不降级的前提下能同时处理的最大请求数。
- 并发-延迟曲线：随着并发数增加，延迟的上升斜率。
- 优雅降级机制：超过阈值时是否支持熔断、限流、降级。
- 连接池与线程池：数据库连接、模型推理线程的复用效率。
常见陷阱：仅测试低并发下的延迟表现，忽略高并发时的资源竞争（如锁竞争、显存溢出）。建议使用阶梯式并发压测，从 1 并发逐步增加到目标并发数的 2 倍，观察延迟拐点。
4.5 效率维度综合评估框架
四个指标并非孤立存在，而是相互制约。下图展示了效率维度各指标之间的典型权衡关系：
4.6 效率评估量化流程
在实际项目中，建议按以下步骤完成效率维度的量化评估：
- 定义SLA基线：与业务方确认延迟、吞吐的上下限阈值。
- 构建压测场景：模拟真实交易数据分布和流量模型。
- 采集多维度指标：同时记录延迟、吞吐、CPU/GPU/内存利用率。
- 绘制效率曲线：以并发数为横轴，延迟和吞吐为双纵轴，找到拐点。
- 瓶颈定位与优化：根据资源利用率数据定位瓶颈（如CPU满载、内存带宽不足）。
- 迭代验证：优化后重新执行步骤2-5，直至满足SLA。
量化输出示例：
在 200 并发下，P99 延迟 180ms，吞吐 1850 QPS，CPU 利用率 78%，GPU 利用率 82%。
瓶颈分析：GPU 利用率接近饱和，建议增加 GPU 实例或优化模型算子。
在 200 并发下，P99 延迟 180ms，吞吐 1850 QPS，CPU 利用率 78%，GPU 利用率 82%。
瓶颈分析：GPU 利用率接近饱和，建议增加 GPU 实例或优化模型算子。
4.7 效率维度评估报告模板
| 评估项 | 指标 | 当前值 | 目标值 | 达标状态 |
|---|---|---|---|---|
| 推理延迟 | P50 / P99 (ms) | 35 / 180 | ≤50 / ≤200 | ✅ 达标 |
| 吞吐量 | 峰值 QPS | 1850 | ≥1500 | ✅ 达标 |
| 资源利用率 | CPU / GPU (%) | 78 / 82 | 60-85 / 70-90 | ✅ 达标 |
| 并发处理能力 | 最大并发数 | 350 | ≥300 | ✅ 达标 |
通过上述四个效率维度指标的系统化评估，可以全面量化AML推理链路的性能表现，为后续的优化方向提供数据支撑。在实际项目中，建议将效率评估纳入CI/CD流水线，每次模型更新或架构变更后自动执行压测，防止性能退化。